El archivo robots.txt, como su nombre indica, es un simple archivo de texto con una serie de instrucciones que los buscadores tienen en cuenta a la hora de indexar el contenido. Básicamente sirve para todo lo contrario que el sitemap, sirve para NO INDEXAR algo.
En todas las webs tenemos secciones internas que no interesan que sean mostradas por los buscadores, como secciones de login, secciones administrativas, o simplemente carpetas con imágenes internas que no aportan nada nuevo al contenido de nuestra web. Para ello tenemos que crear un archivo robots.txt y ubicarlo en la carpeta raíz de nuestra web. Debe tener este nombre que es el estándar.
Para crear un archivo robots.txt hay que tener en cuenta la estructura y la sintaxis, hay que indicarle para que robot queremos que se cumpla esa condición, podemos tener varias configuraciones ( todas en el mismo archivo robots.txt ) para distintos robots, o lo que se llama user-agent.
El código empezaría así:
User-agent: *
El * es para indicar que queremos que esta condición se cumpla para todos los robots, si quisiéramos que ocurriera para un buscador concreto deberíamos indicarlo así: User-agent: Googlebot o User-agent: msnbot
Cuando ya tenemos claro a quien queremos decirle la información, tenemos que pensar que es lo que queremos que los buscadores no indexen, si se trata de un archivo, de una carpeta, subcarpeta o todo. ( este último no suele ser utilizado, ya que interesa aparecer en los buscadores en la mayoría de los casos )
El código sería así:
User-agent: *
Disallow: /archivo.html
Disallow: /carpeta/
Disallow: /*/subcarpeta/
Disallow: *
Existen otras variantes para mejorar el archivo robots.txt, pero estas son complicadas de usar y hay que tener mucho cuidado como las usamos.
Por ejemplo, con el * sabemos que sirve como comodín. Si usamos Disallow: /*palabra, todas las URL que contengan “palabra” serán automáticamente rechazadas, si al final ponemos /*palabra$, no permitirá la indexación de las URL que acaben con “palabra”.
Se puede complicar tanto como queramos definir el nivel de acceso a los buscadores.
