Sabemos cómo llevar tráfico a tu web y cómo hacer para que tu negocio aparezca en las primeras posiciones de búsqueda de Google. A  través del Inbound Marketing convertimos a los visitantes de tu web en clientes. Te lo explicamos de forma sencilla para que puedas empezar a aplicarlo.

Sabemos cómo llevar tráfico a tu web y cómo hacer para que tu negocio aparezca en las primeras posiciones de búsqueda de Google. A  través del Inbound Marketing convertimos a los visitantes de tu web en clientes. Te lo explicamos de forma sencilla para que puedas empezar a aplicarlo.

Sabemos cómo llevar tráfico a tu web y cómo hacer para que tu negocio aparezca en las primeras posiciones de búsqueda de Google. A  través del Inbound Marketing convertimos a los visitantes de tu web en clientes. Te lo explicamos de forma sencilla para que puedas empezar a aplicarlo.

Sabemos cómo llevar tráfico a tu web y cómo hacer para que tu negocio aparezca en las primeras posiciones de búsqueda de Google. A  través del Inbound Marketing convertimos a los visitantes de tu web en clientes. Te lo explicamos de forma sencilla para que puedas empezar a aplicarlo.

Usar bien el archivo robots.txt es fundamental para tener tu web correctamente indexada en las bases de datos de los motores de búsqueda ya que este archivo te permite tener cierto control sobre qué contenidos pueden o no ser indexados. Pero ¿qué es?, ¿cómo crearlo?, ¿dónde se coloca? Te damos algunas pistas sobre este archivo.

¿Qué es el robots.txt y para qué sirve?

Para encontrar nuevas webs o actualizar información de las que ya existentes en sus bases de datos, los motores de búsqueda utilizan mecanismos (softwares) conocidos como Robots, Spiders o Crawlers que barren constantemente internet buscando nuevas páginas o revisitando otras para actualizar la información.

Para ayudar a los motores a indexar la información de tu web puedes (y debes) utilizar dos pequeños archivos en formato texto para orientarlos y ayudarles a obtener la información con más facilidad; el robots.txt y el Sitemap.

El robots.txt es un archivo de texto plano con algunas reglas que funciona como un filtro para los robots y hace que puedas controlar los permisos de acceso a determinadas páginas o carpetas de tu web. Es el primer archivo que consultará el robot y todos los robots acreditados respetan las directivas del archivo robots.txt.

El contenido del archivo robots.txt

La configuración del robots.txt es importante porque:

  • Ayuda a indexar mejor tu web el contenido de tu página con lo que mejora tu posicionamiento.
  • Impide el acceso a determinados robots además de limitar la información que quieres mostrar, de forma que los datos personales privados no puedan ser encontrados.
  • Reducen la sobrecarga del servidor. Algunos robots se dedican a hacer muchas peticiones que pueden saturar el servidor y provocar que la navegación por la página sea más lenta.

Para orientar los robots, existen algunas reglas que debes seguir. Los comandos principales para un archivo robots.txt simple utiliza varias reglas:

  • User-agent: identifica para qué mecanismo de rastreo son las instrucciones que se incluyen
  • Disallow: informa qué páginas no deben ser analizadas por los rastreadores.
  • Allow: informa qué páginas deben ser analizadas por los rastreadores.
  • Sitemap: muestra la localización del sitemap de tu web, importante para que los rastreadores encuentren las nuevas entradas.
  • Crawl-delay: indica al robot el número de segundos que debe esperar entre cada página. Es muy útil para reducir la carga del servidor. El tiempo recomendado es de 5-10 segundos, desde dinahosting siempre recomendamos 10 segundos.

También puedes utilizar comodines:

  • Asterisco (*): vale por una secuencia cualquiera de caracteres. Por ejemplo, todos los directorios que empiezan por «directorio» serían «/directorio*/»
  • Dólar ($): indica el final de un URL. Por ejemplo, para indicar cualquier archivo que acabe con la extensión .inc se utilizaría «/.inc$».

Funcionamiento

Ejemplos:

Un ejemplo de robots.txt básico:

Ejemplo de un archivo robots.txt más complejo:

Explicaciones:

  • Línea 1: indica que las líneas posteriores (líneas 3 a 6) serán indexadas y seguidas por todos los robots de todos los motores de búsqueda.
  • Líneas 2 a 5: indican qué carpetas no serán indexadas para todos los robots
  • Línea 6: indica que aunque la carpeta «tecnologia» no debe ser indexada, la subcarpeta computadoras sí puede ser leída
  • Línea 7: indica que los robots tienen que esperar 10 segundos entre cada acceso
  • Línea 8: indica que a partir de esa línea las reglas solo son para el Googlebot
  • Líneas 9 y 10: carpetas que solo Googlebot no puede visitar
  • Línea 10: especifica la carpeta donde se encuentra el sitemap y el nombre del archivo

Incluir comentarios en el robots.txt

Si eres una persona metódica y quieres incluir comentarios en tu robots solo tienes que usar (#) de esta forma:

Cosas que debes tener en cuenta

  • Debe existir solo un robots.txt para cada web y este debe estar en el directorio raíz
  • El robots.txt no es una forma de seguridad
  • Robots.txt no hace que una página sea eliminada del índice de los motores de búsqueda si ya ha sido indexada
  • Los robots de búsqueda solo siguen lo que has especificado en tu robots.txt
  • Los robots son sensibles a las mayúsculas y minúsculas
  • La información de tu robots.txt es pública y cualquiera puede acceder a ella tecleandohttps://tudominio.com/robots.txt

Importante: Si utilizas una sección específica para un robot, éste ignorará los comandos de la sección global. Ah, y cuidado con dejarte el robots.txt de desarrollo al pasarlo a producción puedes perjudicar el posicionamiento de TODO tu contenido.

Recuerda: si ayudas a los motores de búsqueda, contribuyes a una mejor indexación del contenido de tu página, y en consecuencia, a traer más visitas a tu web.

Conclusión

Los motores de búsqueda utilizan robots para recorrer toda la web, indexando todo o casi todo el contenido disponible. El robots.txt funciona principalmente con reglas de negación ya que por norma todas las páginas están accesibles a los robots.

El Protocolo de Exclusión de Robots es utilizado en muchas tareas de SEO ya que evita la duplicación de contenido, permite o no la indexación de contenido de los webspiders, ocultar contenido y otras tareas.

Fíjate si es útil un robots.txt que hasta en la web de la Casa Real han personalizado su robots.txt para ayudar a los buscadores 😉

Cuando hayas creado tus reglas podrás subir el archivo a la raíz de tu web desde cualquier herramienta tipo Filezilla o Notepad ++ para que puedas crear o modificar el sitemap.xml o el robots.txt y subirlo a tu hosting de forma fácil o puedes usar el Administrador de Archivos del Panel de Control de tu hosting.

!Te enseñamos cómo hacer una página web con WordPress desde cero de forma fácil y rápida!

Con el Taller intensivo, dinámico y práctico, WorkShop 1 Web en 2 Días | Diseña tu propia web con WordPress, sabrás cómo hacer una página web con WordPress y tendrás tu web profesional lista cuando termines. La web estará adaptada a todos los dispositivos. La web se realiza con el gestor de contenidos Wodpress. Te pondrás al día de que son a nivel práctico, tocándolos, los hosting, plugins, microsites, landingpages, etc.

También conocerás los tipos de imágenes utilizadas en web, su resolución y píxeles, las tipografías o trucos para el diseño web, una revisión sobre la web construida, el social network, el email, banners, entre otros.

Te hablaremos de la publicidad online, SEO, los blogs y las redes sociales.

Tipo de formación

Presencial, nos desplazamos dos días a tu ciudad y organizamos el Taller.

Fechas de impartición

El Taller se imparte en fines de semana, sábados 6 horas y domingos 6 horas.

Consulte el calendario de programación.

Requisitos

Para poder acceder a este curso, será necesario que dispongas de:

  • Conocimientos básicos sobre internet y programas como Power Point, Gim, Photoshop, o similares, además de un cierto dominio sobre el mundo online.
  • Ordenador portátil con los programas antes mencionados cargados
  • Contar con una buena conexión a internet con wiffi en la sala o dependencia municipal donde se imparta el Taller.
  • Por supuesto, contar con un grupo mínimo de 15 personas para poder realizarlo. Para grupos de inferior número de participantes consultar, por favor.

Amplía información CONSULTAR