Différences

Ci-dessous, les différences entre deux révisions de la page.

--- web:robots_txt [2016/02/20 23:32] – gdureuil
+++ web:robots_txt [2020/07/24 22:03] (Version actuelle) – modification externe 127.0.0.1
@@ Ligne 1: / Ligne 1: @@
 ====== Robots.txt ======
+===== Information =====
 Fichier servant de directive aux robots d'indexation. Un robot n'a aucune obligation de respecter ce fichier.
+===== Exemples =====
 Ne rien référencer, pour tout les robots.
-<code>
+<sxh text; Title: robots.txt>
 User-agent: *
 Disallow: /
-</code>
+</sxh>
 Ne pas référencer un répertoire ou page, juste pour GoogleBot.
-<code>
+<sxh text; Title: robots.txt>
 User-agent: Googlebot
 Disallow: /repertoire-a/
 Disallow: /page-b.html
-</code>
+</sxh>
+<WRAP center important 100%>
 Attention ! Ce fichier est public, n'importe qui peut voir son contenu. Attention à ce que vous mettez (dossiers sensibles par exemple).
+</WRAP>
+===== Liste de bots agressifs =====
+Voici une liste de bots agressifs que l'on peut définir :
+<sxh text; Title: robots.txt>
+# http://www.opensiteexplorer.org/dotbot
+User-agent: dotbot
+Disallow: /
+# https://ahrefs.com/robot/
+User-agent: AhrefsBot
+Disallow: /
+# These fools don't even respect robots.txt
+User-agent: QuerySeekerSpider
+Disallow: /
+# http://www.picsearch.com/bot.html
+User-agent: psbot
+Disallow: /
+# http://webmeup-crawler.com/
+User-agent: BLEXBot
+Disallow: /
+# http://sentibot.eu/
+User-agent: sentibot
+Disallow: /
+# http://openlinkprofiler.org/bot
+User-agent: spbot
+Disallow: /
+# http://www.crazywebcrawler.com/
+User-agent: CrazyWebCrawler-Spider
+Disallow: /
+# https://ranksonic.com/ranksonic_bot.html
+User-agent: RankSonicBot
+Disallow: /
+# http://www.seokicks.de/robot.html
+User-agent: SEOkicks-Robot
+Disallow: /
+</sxh>