x
Tutoriales para hacerte un Experto en Joomla

A nosotros tampoco nos gusta el spam.

Configura el archivo robots.txt en Joomla

Publicado por BIAlita en Joomla
Archivo robots.txt
4.3 de 5 basado en 7 voto(s)
  / 7
PocoMucho 

Otro archivo importante es el robots.txt, le indica a los robots de los buscadores que visitan tu sitio, cuáles son las páginas del sitio pueden rastrear para indexarlas.

Recuerda que cada robot interpreta estas directrices de diferente forma, nos vamos a enfocar en Google para este artículo.

Este archivo no se utiliza como medio de seguridad, existen robots malignos que no obedecen estas reglas, si lo que buscamos es asegurar el sitio, lo mejor es utilizar el htaccess.


En Joomla 3.4.1 podemos encontrar el archivo de la siguiente forma:

  • Indica que las reglas aplican para todos los robots:

User-agent: * 

  • Indica las carpetas a las que los robots no pueden acceder:

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

 

Recomendaciones

Puedo sugerirles las siguientes recomendaciones, algunas no son exclusivas para sitios Joomla.

1. Agregar tu mapa de sitio o todos los que tengas de esta forma:
Sitemap: http://www.misitio.com/sitemap.xml



2. Hay que observar las URL cuando instalamos o utilizamos alguna extensión, por ejemplo al utilizar el buscador de Joomla se genera una URL del tipo http://www.misitio.com/component/search/?searchword….. para evitar que se indexe podemos bloquearlo de la siguiente forma:
Disallow: /component/search?



3. Se puede ocultar el formulario de envío de artículos por correo electrónico que se muestra como http://www.misitio.com/component/mailto/?tmpl=component&link=1
Disallow: /component/mailto? 



4. Para bloquear el acceso a todas las direcciones URL que incluyan un signo de interrogación, se puede utilizar la siguiente entrada: 
Disallow: /*?



5. Si Joomla se instala en una subcarpeta del tipo http://www.misitio.com/joomla, entonces el archivo robots.txt que viene en la instalación debe moverse a la raíz del sitio, así:

De http://www.misitio.com/joomla/robots.txt a http://www.misitio.com/robots.txt y cambiar de la siguiente forma el archivo:

Disallow: /joomla/administrator/
Disallow: /joomla/bin/
Disallow: /joomla/cache/
Disallow: /joomla/cli/
Disallow: /joomla/components/
Disallow: /joomla/includes/
Disallow: /joomla/installation/
Disallow: /joomla/language/
Disallow: /joomla/layouts/
Disallow: /joomla/libraries/
Disallow: /joomla/logs/
Disallow: /joomla/modules/
Disallow: /joomla/plugins/
Disallow: /joomla/templates/
Disallow: /joomla/tmp/


En Joomla tenemos la opción de configurar la etiqueta meta , para indicar que queremos indexar, no indexar, seguir o no seguir los enlaces de una página web. Hay que revisar detalladamente dónde es correcto utilizar la etiqueta de acuerdo cada caso en particular, algunas veces lo ideal es desde el menú, otras por artículo.

meta robots Joomla

 

Ejemplos reales

Mashable - http://mashable.com/robots.txt
Forbes - http://www.forbes.com/robots.txt
Joomla - http://www.joomla.org/robots.txt
Wordpress - http://en.wordpress.com/robots.txt

 

Herramientas online

Pueden revisar la sintaxis de su archivo con las siguientes herramientas:
http://www.sxw.org.uk/computing/robots/check.html
http://tool.motoricerca.info/robots-checker.phtml
https://www.google.com/webmasters/tools

Generador del archivo robots.ttxt
http://www.internetmarketingninjas.com/seo-tools/robots-txt-generator/

 

Al utilizar el archivo robots.txt permitirá obtener resultados más precisos, no desperdiciar nuestros esfuerzos del SEO en páginas poco útiles.

En ocasiones vemos que se ha indexado una página que hemos restringido desde el robots.txt, esto ocurre porque existe un enlace hacia ella. Para evitarlo debemos evitar su bloqueo en el robots.txt y utilizar la etiqueta meta name="robots" content="noindex".

 

Te agradecería nos regalaras un +1 o votaras el artículo en la parte superior para seguir creando contenidos interesantes

 

Soy CEO de . Fundadora y co-administradora del grupo Joomla en México, también cuento con un Canal de YouTube sobre SEO Joomla y Wordpress que te invito visitar. Estoy certificada en Google Adwords y Google Analytics. Sígueme en mi perfil de Google + y salúdame para conocerte.

x
Tutoriales para hacerte un Experto en Joomla

A nosotros tampoco nos gusta el spam.