Différences

Ci-dessous, les différences entre deux révisions de la page.

--- web:robots_txt [2016/06/10 12:53] – gdureuil
+++ web:robots_txt [2020/07/24 22:03] (Version actuelle) – modification externe 127.0.0.1
@@ Ligne 1: / Ligne 1: @@
 ====== Robots.txt ======
+===== Information =====
 Fichier servant de directive aux robots d'indexation. Un robot n'a aucune obligation de respecter ce fichier.
+===== Exemples =====
 Ne rien référencer, pour tout les robots.
-<code>
+<sxh text; Title: robots.txt>
 User-agent: *
 Disallow: /
-</code>
+</sxh>
 Ne pas référencer un répertoire ou page, juste pour GoogleBot.
-<code>
+<sxh text; Title: robots.txt>
 User-agent: Googlebot
 Disallow: /repertoire-a/
 Disallow: /page-b.html
-</code>
+</sxh>
+<WRAP center important 100%>
 Attention ! Ce fichier est public, n'importe qui peut voir son contenu. Attention à ce que vous mettez (dossiers sensibles par exemple).
+</WRAP>
+===== Liste de bots agressifs =====
 Voici une liste de bots agressifs que l'on peut définir :
-<code>
+<sxh text; Title: robots.txt>
 # http://www.opensiteexplorer.org/dotbot
 User-agent: dotbot
@@ Ligne 62: / Ligne 70: @@
 User-agent: SEOkicks-Robot
 Disallow: /
-</code>
+</sxh>