Robots.txt imprescindible para un buen posicionamiento

Aunque suene algo básico y la gran mayoría de webs, blog y tiendas online cuenta con él, el archivo robots.txt es imprescindible para obtener un buen posicionamiento en buscadores, algunos tan vitales como Google.Hay un factor que Google castiga duramente y es el duplicado de contenido, por lo que recomendamos que en primer lugar todos los contenidos de nuestra web sean cuanto más originales mejor. En segundo lugar debemos de saber que hay páginas que se duplican al agregarle una etiqueta (tipo blogs o tiendas online con etiquetas en sus productos) por lo que el archivo robots.txt les dirá a los buscadores que páginas debe indexear y cuales no, de este modo por cada página solo pasará una vez. Ésto mismo sucede con los feeds. El archivo robots.txt debe estar en el directorio raiz de nuestra web. Para marcar que páginas no queremos que se indexeen utilizaremos la función Disallow:. También podemos indicar a que motor de búsqueda queremos aplicar nuestras restricciones, para ello utilizaremos la función User-Agent: y a continuación el motor de búsqueda. Si pusieramos un * estaríamos indicando que las restricciones van dirigidas a todos los...

read more