AllSiteViewBot

Το AllSiteViewBot είναι ο αυτόματος επισκέπτης του allsiteview.com, μιας υπηρεσίας που δείχνει ποια ειδησεογραφική ιστοσελίδα έδωσε πρώτη μια είδηση. Εμφανίζεται στους διακομιστές σας με User-Agent που περιέχει το όνομα AllSiteViewBot, της μορφής «AllSiteViewBot/1.0 (+…/bot)», όπου η διεύθυνση οδηγεί σε αυτή τη σελίδα.

Τι συλλέγουμε

Διαβάζουμε τα δημόσια άρθρα σας (μέσω feed, sitemap ή των ίδιων των σελίδων): τον τίτλο, την ώρα δημοσίευσης, την κύρια εικόνα και το κείμενο. Τηρούμε το robots.txt, το Crawl-delay και τα σήματα Content-Signal και TDMRep.

Τι δείχνουμε

Στους αναγνώστες δείχνουμε τον τίτλο, ένα σύντομο απόσπασμα και σύνδεσμο προς το άρθρο στο site σας· η κύρια εικόνα παραπέμπει σε εσάς και σας αναφέρει. Το πλήρες κείμενο το χρησιμοποιούμε μόνο εσωτερικά (εκτός αν έχουμε συμφωνία με το μέσο), για να ομαδοποιούμε άρθρα σε ιστορίες, να βαθμολογούμε και να γράφουμε περιλήψεις με τεχνητή νοημοσύνη, οι οποίες φέρουν σχετική ένδειξη. Δεν εκπαιδεύουμε μοντέλα.

Πώς να μας εξαιρέσετε

Προσθέστε στο robots.txt σας μία από τις δύο παρακάτω ομάδες· αρκεί η μία. Η γραμμή Content-Signal μετράει μόνο μέσα σε ομάδα που μας αφορά: στην ομάδα User-agent: AllSiteViewBot ή, αν δεν έχετε τέτοια, στην ομάδα User-agent: *. Θα σταματήσουμε να σας επισκεπτόμαστε, δηλαδή να συλλέγουμε νέα άρθρα, εντός 24 ωρών· τόσο κρατάμε τους κανόνες σας πριν τους ξαναδιαβάσουμε· θα συνεχίσουμε να διαβάζουμε το robots.txt (και το /.well-known/tdmrep.json), ώστε να καταλάβουμε αν αλλάξει. Ό,τι έχουμε ήδη εμφανίσει από το μέσο σας το αφαιρούμε κατόπιν αιτήματος μέσω της σελίδας επικοινωνίας.

# Είτε:
User-agent: AllSiteViewBot
Disallow: /

# Είτε:
User-agent: AllSiteViewBot
Content-Signal: ai-input=no

Το Content-Signal search=no και μια δήλωση TDMRep στο /.well-known/tdmrep.json που καλύπτει ολόκληρο το site έχουν το ίδιο αποτέλεσμα. Αν η δήλωση TDMRep ή ένα Disallow αφορά μόνο ορισμένες διαδρομές, παραλείπουμε μόνο αυτές· με τη meta ετικέτα tdm-reservation παραλείπεται μόνο η σελίδα που τη φέρει.