Robots txt – Glosario de WordPress – Comunidad de WordPress

Robots txt

Robots txt es un archivo de texto que permite a un sitio web proporcionar instrucciones a los robots que rastrean los navegadores web.

Los motores de búsqueda como Google utilizan estos rastreadores web, a veces denominados rastreadores web, para archivar y clasificar sitios web. La mayoría de los bots están configurados para buscar un archivo robots.txt en el servidor antes de leer cualquier otro archivo en el sitio. Haga esto para ver si el propietario de un sitio web tiene instrucciones especiales sobre cómo rastrear e indexar su sitio.

El archivo robots txt contiene un conjunto de instrucciones que le piden al bot que ignore ciertos archivos o directorios. Esto puede deberse a razones de privacidad o porque el propietario del sitio web considera que el contenido de esos archivos y directorios no es relevante para la clasificación del sitio web en los motores de búsqueda.

Si un sitio web tiene varios subdominios, cada subdominio debe tener su propio archivo txt de robots. Es importante tener en cuenta que no todos los robots aceptarán un archivo robots.txt. Algunos robots malintencionados incluso leerán el archivo robots.txt para averiguar a qué archivos y directorios deben apuntar primero. Además, incluso si un archivo robots.txt indica a los robots que ignoren determinadas páginas del sitio, es posible que esas páginas sigan apareciendo en los resultados de búsqueda y estén vinculadas a otras páginas rastreadas.

Articulos adicionales:

Compartir con tus amigos:

Deja un comentario