DE
English
EspañolDer AnteSEO-Crawler in Ihren Logs
Wenn Sie x-anteseo in Ihren Zugriffslogs gefunden haben, ist diese Seite die ganze Antwort: was wir sind, warum wir da waren, wie Sie uns erkennen und wie Sie uns bremsen oder aussperren.
Warum wir auf Ihrer Website waren
Jemand hat einen Bericht über diese Domain gekauft. AnteSEO verkauft einen einmaligen schriftlichen Bericht darüber, welche Seiten einer Website fehlen, und dafür müssen wir die Website so lesen, wie eine Suchmaschine sie liest. Wir crawlen keine Websites, die niemand bei uns angefragt hat, wir führen keinen Index, und wir kommen nicht wieder, außer jemand kauft einen weiteren Bericht zur selben Domain.
Unsere Bedingungen verlangen, dass der Käufer die Website besitzt oder berechtigt ist, für den Inhaber zu handeln. Wenn Sie glauben, dass niemand mit dieser Berechtigung das beauftragt hat, nennen Sie uns die Domain, und wir sagen Ihnen, wann der Crawl gekauft wurde, und erstatten ihn: hello@anteseo.com.
Wie Sie uns im Log erkennen
Prüfen Sie den Header, nicht den User-Agent. Jede unserer Anfragen trägt x-anteseo mit der Adresse dieser Seite als Wert, und das ist das Feld, gegen das Sie eine Allowlist oder eine Sperre schreiben.
- Header, bei jeder Anfrage
x-anteseo: https://anteseo.com/bot- User-Agent, einfache Anfragen
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/152.0.0.0 Safari/537.36- User-Agent, gerenderte Seiten
- Die Kennung des installierten Chromium, ohne das Wort
Headless. Sie ändert sich mit der Browserversion, es gibt also keine feste Zeichenkette zum Abgleichen. - Methoden
- Nur GET. Wir schicken nie ein Formular ab, senden nie POST und melden uns nirgends an.
- Anfragen, höchstens
- Zweimal
robots.txt, weil die Datei einmal gelesen wird, um den Crawl zu planen, und einmal von dem Teil, der die Seiten öffnet. Bis zu 5 Versuche, Ihre Sitemap zu finden, falls die Datei keine nennt, und danach bis zu 40 Sitemap-Dateien. Vier Anfragen, um zu prüfen, welche Ihrer vier Eingangstüren antwortet, eine oder zwei mehr, als die Domain zuerst eingetippt wurde, und bis zu 100 Seiten für einen Bericht, oder 5.000, wenn der Inhaber die Website in einem Paket verfolgt.
Das Produkt misst, was ein Browser und eine Suchmaschine sehen können, deshalb lesen wir die Website in einem echten Chromium. Solange der User-Agent AnteSEOBot lautete, haben Bot-Filter uns bei Crawls abgewiesen, die der Inhaber der Website selbst bezahlt und beauftragt hatte. Der Name ist deshalb in einen Header umgezogen, den nichts versehentlich blockiert, und darum ist der Header oben das, worauf Sie prüfen: Etwas ohne Namen können Sie nicht freigeben.
Wie wir uns verhalten
- Wir lesen
robots.txtund halten uns daran. Eine Adresse, die dort ausgeschlossen ist, wird gar nicht angefragt: nicht abgerufen und verworfen, sondern nie angefordert. Drei Anfragen kommen vor der Datei oder neben ihr, und der Hinweis unten nennt sie. - Wir befolgen die Gruppe
User-agent: *, und nur diese. Eine Regel, die uns namentlich anspricht, hat keine Wirkung, dazu weiter unten mehr. - Wir warten standardmäßig 250 ms zwischen zwei Seiten, und länger, wenn Ihr
Crawl-delaydas verlangt, bis zu 5 Sekunden. - Wir öffnen höchstens 100 Seiten einer Website für einen Bericht und höchstens 5.000 für eine Website, die ihr Inhaber in einem Paket verfolgt, die wichtigsten zuerst, egal wie groß die Website ist. Im Paket ist jede Seite zuerst eine einfache Anfrage, und Chromium kommt nur für eine Seite zum Einsatz, die diese abweist.
- Wir fassen nie etwas hinter einem Login an und nichts, was ein Cookie oder eine Sitzung erfordert.
- Schlagen Anfragen immer wieder fehl, hören wir früher auf, statt auf einen Server einzuhämmern, der uns offensichtlich abweist.
Ihre Startseite wird abgerufen, bevor die Datei gelesen sein kann, und wird auch danach nie durch sie ausgeschlossen: Sie ist die eine Adresse, ohne die ein Bericht nicht auskommt. Die vier Anfragen, die herausfinden, welche Variante (der blanke Name, www., http oder https) Ihre echte Eingangstür ist, lesen sie ebenfalls nicht. Und auch nicht die einzelne Prüfung, ob die Website überhaupt antwortet, die läuft, sobald jemand die Domain eintippt, bevor Geld geflossen ist. Alles danach hält sich an die Datei, und die Bedingungen sagen dasselbe mit denselben Worten.
Wir speichern das gerenderte HTML der Seiten, die wir lesen, und den Text der Website als ein Dokument, denn das ist die Grundlage des Berichts und macht einen Befund im Nachhinein überprüfbar. Die Datenschutzerklärung sagt, wie lange das aufbewahrt wird und wofür es sonst verwendet wird, nämlich für nichts.
Uns bremsen
Setzen Sie ein Crawl-delay in die Gruppe * Ihrer robots.txt, und wir halten uns daran, bis zu 5 Sekunden. Darüber hinaus begrenzen wir den Wert: Eine Website, die eine Minute zwischen zwei Seiten verlangt, verlangt mehr Wartezeit, als ein Bericht wert ist, und wir sagen die Obergrenze lieber offen, als die Datei stillschweigend zu ignorieren.
User-agent: *
Crawl-delay: 5Uns aussperren
Ein Disallow in der Gruppe * hält uns fern, und es hält auch Suchmaschinen fern. Das sollten Sie abwägen, bevor Sie es einsetzen.
User-agent: *
Disallow: /Wir befolgen die Gruppe * und keine andere, ein Block User-agent: AnteSEOBot wird also von niemandem gelesen. Das ist das strengere Verhalten, nicht das lockerere, denn eine uns namentlich erlaubende Regel ist hypothetisch, ein einschränkendes * dagegen nicht. Es bedeutet aber, dass eine Regel, die nur uns meint, uns nicht aussperrt. Um gezielt uns abzuweisen und Suchmaschinen zuzulassen, blockieren Sie stattdessen den Header auf Ihrem Server oder am Edge.
In nginx sind das zwei Zeilen im Server-Block:
if ($http_x_anteseo) { return 403; }Wenn Sie lieber möchten, dass wir einfach nie wiederkommen, schicken Sie uns die Domain, und wir lehnen weitere Verkäufe dafür ab: hello@anteseo.com. Das ist für beide Seiten besser als eine Sperre, die wir erst entdecken, wenn wir abgewiesen werden.
Was eine Sperre den Inhaber der Website kostet
Das sollte man offen sagen, denn es ist ein Grund, vor dem Sperren nachzudenken, kein Grund, es zu lassen. Was uns abweist, entscheidet meist dasselbe über Suchmaschinen: Wir kommen als ganz normaler Browser, von einer Adresse, mit ein paar Seiten pro Minute. Wenn wir die Website nicht lesen können, ist das selbst ein Befund, und einer, von dem der Inhaber in der Regel wissen will.
Wird ein Crawl ganz abgewiesen, können wir keinen Bericht erstellen, und wir erstatten dem Käufer den vollen Betrag.