El archivo robots.txt se encuentra dentro del directorio de un sitio web y proporciona a los bots reglas sobre a qué páginas o archivos se debe acceder. Funciona como un conjunto de directrices que los propietarios de sitios web usan para controlar cómo los motores de búsqueda y otros bots interactúan con sus sitios web. 

Por qué es importante el archivo robots.txt

El archivo Robots.txt afecta directamente la optimización para motores de búsqueda de una organización y la clasificación de sus páginas en los resultados de búsqueda. Los scrapers legítimos consultan el archivo Robots.txt cada vez que extraen e indexan contenido. Además, los motores de búsqueda populares como Googlebot también tienen lo que se conoce como presupuesto de rastreo, y el archivo Robots.txt lo afecta directamente. Un presupuesto de rastreo se refiere al número de páginas que un scraper web indexará en un periodo determinado. Como un sitio web puede tener más páginas de las que su presupuesto de rastreo puede cubrir, los archivos robots.txt permiten a las organizaciones priorizar el rastreo de sus páginas más relevantes y excluir las duplicadas o no públicas.

Los bots scraper maliciosos no siguen las directrices de robots.txt y, a menudo, intentan acceder a partes del sitio web que se prohíben explícitamente en él. Piensa en los archivos robots.txt como líneas en la arena trazadas para mantener a raya a los bots legítimos. Aunque puedes seguir sus directrices, cruzarlo es solo una decisión ética y no está restringido de ninguna manera por las reglas de robots.txt. Sin embargo, las aplicaciones suelen ejecutar otras herramientas de seguridad que les permiten agregar protección a la aplicación y a sus archivos o directorios sensibles. Muchas herramientas de seguridad prestan mucha atención a los archivos robots.txt, ya que pueden usarse como honeypot para detectar rápidamente bots maliciosos en sus aplicaciones.

Cómo crear un archivo robots.txt

Hay algunos puntos que debes tener en cuenta al crear archivos robots.txt:

• El archivo debe estar ubicado en la raíz del dominio, y cada subdominio necesita su propio archivo.

• El protocolo robots.txt distingue entre mayúsculas y minúsculas.

• Es fácil bloquear accidentalmente el rastreo de todo, así que asegúrate de entender la sintaxis de un comando antes de implementarlo:

  • Disallow: / significa no permitir nada.

  • Disallow: significa que no se bloquea nada, lo que permitirá todo.

  • Allow: / significa permitir todo.

  • Allow: significa no permitir nada, lo que lo bloqueará todo.

Este es un ejemplo de un archivo robots.txt básico:

En este ejemplo, el asterisco (*) en el campo “Usuario-Agente” indica que las reglas se aplican a todos los robots web. El código “Disallow” especifica los directorios o archivos que no deben ser rastreados por los robots, y “/private/”, “/admin/” y “/cgi-bin/” son los directorios no permitidos especificados. Con esta lógica, los administradores pueden definir exactamente dónde los bots no deben rastrear, y pueden extenderla a tantas ubicaciones como deseen.

El archivo robots.txt permite a las organizaciones decidir a qué páginas puede acceder un rastreador, pero también puede limitar la velocidad a la que opera un rastreador. La demora de rastreo es una directiva no oficial que las organizaciones pueden usar para limitar el número de solicitudes que hace un rastreador en un periodo de tiempo. Hacerlo limita la capacidad de un rastreador para saturar un servidor, y las organizaciones pueden implementar una demora de rastreo para un rastreador en particular o para todos los que admitan la directiva. Es importante tener en cuenta que, aunque motores de búsqueda como Yahoo y Bing seguirán esta directiva no oficial, otros (como Googlebot) requerirán ajustes en sus consolas únicas para lograr el mismo resultado.

Resumen

Los propietarios de sitios web crean el archivo robots.txt para guiar a los bots en sus aplicaciones. Aunque los bots legítimos usan esta información para saber qué páginas rastrear, los bots de scraping maliciosos la ignoran y rastrean donde quieren. Obtén más información aquí sobre los tipos de bots a los que afectan los archivos robots.txt.