ROBOTS

Los robots se encargan de rastrear el contenido de nuestro sitio web. El que usa Google se llama googlebot, y además de examinar el contenido de las páginas examina los PDFs, DOC… Googlebot pasa por cada página cada cierto tiempo, dependiendo del PageRank de la página, y recorre todas las palabras y enlaces que encuentra, menos aquellas partes para las que le hayamos indicado que no queremos que las tenga en cuenta.

Indicamos las zonas en las que no queremos que entre googlebot (ni ningún robot de cualquier otro buscador) mediante el fichero robots.txt. La forma más sencilla de crear este fichero es con la herramienta Generate robots.txt de Google Webmaster Tools. Lo que hay que hacer es indicar la página o directorio en la que queremos aplicar determinada acción para uno o más robots de búsqueda, descargar el archivo txt y subirlo a la raíz de nuestro sitio, y a esperar a que google pase.