¿Qué es Disallow?
El Disallow, cuya traducción literal es Rechazar, sirve para denegar el acceso a una página o directorio concreto. Se le asocia con el archivo Robots.txt y se le conoce como protocolo de exclusión de robots, el cual impide que los robots de algunos buscadores rastreen contenidos que no queremos que indexen en sus resultados. En el punto contrario está el Allow, que permite indicar al rastreador una URL o directorio al que sí pueda indexar o rastrear. Ambos contienen reglas específicas que solo se aplican a los agentes que hayamos especificado anteriormente. Es posible incluir varias líneas Disallow a diferentes agentes de usuarios. Para crear un Disallow All en robots.txt, se utilizan el User-Agent (*) y el Disallow (/). El primero hace que la instrucción se aplique a todos los robots. El segundo consigue bloquear el acceso a todas las páginas que estén disponibles en el dominio web. El inconveniente está en que, a la hora de usar la aplicación, las reglas introducidas no son obligatorias. A pesar de programar el Disallow, el robot puede decidir si hace caso o no. Por lo que, algunos navegadores pueden indexar la página o enlace a pesar de indicar lo contrario. Para garantizar un buen bloqueo de todos los robots, se puede utilizar los meta tag y añadir los códigos en ciertas plantillas.