ES
English
DeutschEl rastreador de AnteSEO en sus registros
Si ha encontrado x-anteseo en sus registros de acceso, esta página es la respuesta completa: qué somos, por qué pasamos por su sitio, cómo reconocernos y cómo frenarnos o impedirnos la entrada.
Por qué estuvimos en su sitio
Alguien compró un informe sobre ese dominio. AnteSEO vende un informe escrito, de pago único, que indica qué páginas le faltan a un sitio web, y elaborarlo exige leer el sitio tal como lo lee un buscador. No rastreamos sitios que nadie nos haya pedido rastrear, no mantenemos ningún índice y no volveremos a menos que alguien compre otro informe sobre el mismo dominio.
Nuestras condiciones exigen que el comprador sea el propietario del sitio o esté autorizado para actuar en nombre de quien lo sea. Si cree que nadie con esa autorización lo ha solicitado, díganos el dominio y le indicaremos cuándo se compró el rastreo y lo reembolsaremos: hello@anteseo.com.
Cómo reconocernos en un registro
Filtre por la cabecera, no por el user-agent. Todas nuestras peticiones llevan x-anteseo con la dirección de esta página como valor, y ese es el campo sobre el que conviene escribir una lista de permitidos o un bloqueo.
- Cabecera, en cada petición
x-anteseo: https://anteseo.com/bot- User-agent, peticiones simples
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/152.0.0.0 Safari/537.36- User-agent, páginas renderizadas
- La cadena propia del Chromium instalado, sin la palabra
Headless. Cambia con cada versión del navegador, así que no hay una cadena fija con la que comparar. - Métodos
- Solo GET. Nunca enviamos un formulario, nunca hacemos POST y nunca iniciamos sesión en nada.
- Peticiones, como máximo
- Dos de
robots.txt, porque se lee una vez para planificar el rastreo y otra vez desde el lector que abre las páginas. Hasta 5 intentos de adivinar dónde está su sitemap, si el archivo no indica ninguno, y después hasta 40 archivos de sitemap. Cuatro peticiones para comprobar cuál de sus cuatro puertas de entrada responde, una o dos más cuando se escribió el dominio por primera vez, y hasta 100 páginas para un informe, o 5000 cuando el dueño sigue el sitio con un paquete.
El producto mide lo que pueden ver un navegador y un buscador, así que leemos el sitio en un Chromium real. Mientras el user-agent decía AnteSEOBot, los filtros de bots nos rechazaban en rastreos que el propio dueño del sitio había pagado y autorizado. El nombre pasó a una cabecera que nada bloquea por accidente, y por eso la cabecera de arriba es lo que debe comprobar: no se puede permitir algo que no tiene nombre.
Cómo nos comportamos
- Leemos
robots.txty lo respetamos. Una dirección que prohíbe no se solicita nunca: no se descarga para luego descartarla, sencillamente no se pide. Tres peticiones van antes o al margen de él, y la nota de abajo las enumera. - Respetamos el grupo
User-agent: *, y solo ese. Una regla dirigida a nosotros por nuestro nombre no tiene efecto, como se explica más abajo. - Hacemos una pausa de 250 ms entre páginas por defecto, y más larga si su
Crawl-delaylo pide, hasta 5 segundos. - Abrimos como máximo 100 páginas de un sitio para un informe, y como máximo 5000 para un sitio que su dueño sigue con un paquete, empezando por las más importantes, sea cual sea su tamaño. Con un paquete, cada página es primero una petición simple, y Chromium solo se usa para una página que la rechaza.
- Nunca tocamos nada que esté detrás de un inicio de sesión, ni nada que requiera una cookie o una sesión.
- Si las peticiones fallan una y otra vez, paramos antes de tiempo en lugar de machacar un servidor que claramente nos está rechazando.
Su página de inicio se descarga antes de que el archivo haya podido leerse, y después nunca queda excluida por él: es la única dirección sin la que un informe no puede hacerse. Las cuatro peticiones que averiguan cuál de las variantes (el nombre sin más, www., http o https) es su verdadera puerta de entrada tampoco lo leen. Ni la comprobación única de que el sitio responde, que se hace en cuanto alguien escribe el dominio, antes de que se haya pagado nada. Todo lo demás respeta el archivo, y las condiciones dicen lo mismo con las mismas palabras.
Lo que guardamos es el HTML renderizado de las páginas que leemos y el texto del sitio como un único documento, porque es la base del informe y lo que permite comprobar después cada hallazgo. El aviso de privacidad indica cuánto tiempo se conserva y para qué más se utiliza, que es para nada.
Cómo frenarnos
Añada un Crawl-delay al grupo * de su robots.txt y lo respetaremos, hasta 5 segundos. Por encima de eso lo limitamos: un sitio que pide un minuto entre páginas está pidiendo más espera de la que merece un informe, y preferimos ser claros sobre ese límite antes que ignorar el archivo en silencio.
User-agent: *
Crawl-delay: 5Cómo impedirnos la entrada
Un Disallow en el grupo * nos deja fuera, y también deja fuera a los buscadores, algo que conviene sopesar antes de usarlo.
User-agent: *
Disallow: /Respetamos el grupo * y ningún otro, así que un bloque User-agent: AnteSEOBot no lo lee nadie. Es el comportamiento más estricto, no el más laxo, ya que una regla permisiva dirigida a nosotros por nombre es hipotética y un * restrictivo no lo es. Eso sí, significa que una regla escrita solo para nosotros no nos impedirá la entrada. Para rechazarnos específicamente sin dejar fuera a los buscadores, bloquee la cabecera en su servidor o en el edge.
En nginx, rechazar la cabecera son dos líneas en el bloque server:
if ($http_x_anteseo) { return 403; }Si prefiere que simplemente no volvamos nunca, envíenos el dominio y rechazaremos nuevas ventas sobre él: hello@anteseo.com. Para ambas partes es mejor que un bloqueo que tendríamos que descubrir al ser rechazados.
Lo que un bloqueo le cuesta al dueño del sitio
Conviene decirlo claramente, porque es un motivo para pensarlo antes de bloquear, no un motivo para no hacerlo. Lo que nos rechaza suele estar decidiendo lo mismo sobre los buscadores: llegamos como un navegador corriente, desde una sola dirección, a razón de unas pocas páginas por minuto. Si no podemos leer el sitio, eso ya es en sí un hallazgo, y uno que el dueño normalmente quiere conocer.
Cuando un rastreo se rechaza por completo no podemos elaborar el informe, y reembolsamos al comprador el importe íntegro.