¿Qué es?
Se encuentra normalmente en la raíz del dominio y utiliza directivas para señalar qué rutas pueden o no ser solicitadas por determinados agentes.
¿Para qué sirve?
Sirve para administrar el acceso de rastreadores a determinadas rutas, especialmente cuando no es conveniente que consuman recursos en ellas.
¿Por qué importa?
Importa porque bloquear el rastreo no equivale necesariamente a eliminar una URL de los resultados ni a proteger información privada.
robots.txt es un archivo público que comunica reglas de rastreo para robots que visitan un sitio.
Cuando esta señal aparece en un análisis y su impacto no es claro, una revisión profesional puede ubicarla dentro del contexto completo del sitio y del objetivo del negocio.