Tener un archivo robots.txt es muy importante ya que ayuda a controlar que Google y otros motores de búsqueda como Bing indexen el contenido del sitio web. Esto se debe a que lo primero que revisa un rastreador cuando visita un sitio web es si existe robots.txt, por lo que determina cuándo se debe rastrear el contenido o no.

Hay varias formas de agregar robots.txt y es tan fácil como escribirlo manualmente en la carpeta "statics". Pero para este tutorial, usaremos nuxtjs/robots ya que es más flexible y el contenido de robots.txt se puede manipular fácilmente.

Instalar el paquete nuxtjs/robots

Lo primero es lo primero, instala el paquete de robots y defínelo en la matriz de módulos de nuxt.config.js.

yarn add @nuxtjs/robots

Para definir la configuración de robots, podemos pasar un objeto, una matriz o una función, donde cada método tiene sus propios casos de uso.

export default {
  modules: [
    '@nuxtjs/robots'
  ],
  robots: {
    /* opciones del módulo */
  }
}

Configuración simple

En este caso, define el código de la siguiente manera y permitirá que todos los agentes de usuario (bot) rastreen el sitio. En cambio, si el valor de Disallow es "/", entonces no permitimos que se rastree ninguna de las páginas.

export default {
  robots: {
    UserAgent: '*',
    Disallow: ''
  }
}

Configuración de múltiples agentes de usuario

Si desea especificar una configuración para un agente de usuario diferente, pase la matriz de objetos como valor de robots y se comportará como se define.

export default {
  robots: [
    {
      UserAgent: 'Googlebot',
      Disallow: '/usuario',
    },
    {
      UserAgent: '*',
      Disallow: '/admin',
    },
  ]
}

Configuración de función

También puede pasar una función como valor de robots y, en este caso, definir la lógica o definir condicionalmente el valor del robot que desea que sea.

export default {
  robots: () => {
    if (algunaLogicaAquí) {
      return {
        UserAgent: '*',
        Disallow: '/'
      }
    }
  }
}

Ejecutar "yarn dev" / "npm run dev"

Finalmente, ejecuta "yarn dev" y ahora puedes visitar /robots.txt para ver el valor de robots.txt que has definido.

User-agent: Googlebot
Disallow: /usuarios
User-agent: Bingbot
Disallow: /admin

Este post fue originalmente publicado en PostSrc 🔥🔥🔥. Si te gustan este tipo de tutoriales, realmente apreciaría si le das una visita.