Outils pour utilisateurs

Outils du site


web:robots_txt

Ceci est une ancienne révision du document !


Robots.txt

Fichier servant de directive aux robots d'indexation.

Ne rien référencer, pour tout les robots.

User-agent: *
Disallow: /

Ne pas référencer un répertoire ou page, juste pour GoogleBot.

User-agent: Googlebot
Disallow: /repertoire-a/
Disallow: /page-b.html

Attention ! Ce fichier est public, n'importe qui peut voir son contenu. Attention à ce que vous mettez (dossiers sensibles).

web/robots_txt.1434061904.txt.gz · Dernière modification : 2020/07/24 22:03 (modification externe)

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki