web:robots_txt
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| web:robots_txt [2016/06/22 21:27] – gdureuil | web:robots_txt [2020/07/24 22:03] (Version actuelle) – modification externe 127.0.0.1 | ||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| ====== Robots.txt ====== | ====== Robots.txt ====== | ||
| + | |||
| + | ===== Information ===== | ||
| Fichier servant de directive aux robots d' | Fichier servant de directive aux robots d' | ||
| + | |||
| + | ===== Exemples ===== | ||
| Ne rien référencer, | Ne rien référencer, | ||
| Ligne 18: | Ligne 22: | ||
| </ | </ | ||
| + | <WRAP center important 100%> | ||
| Attention ! Ce fichier est public, n' | Attention ! Ce fichier est public, n' | ||
| + | </ | ||
| + | |||
| + | ===== Liste de bots agressifs ===== | ||
| Voici une liste de bots agressifs que l'on peut définir : | Voici une liste de bots agressifs que l'on peut définir : | ||
web/robots_txt.1466630826.txt.gz · Dernière modification : 2020/07/24 22:03 (modification externe)