Antworten · KI-Suche · Stand 06.10.2026
Hält robots.txt KI-Crawler von meiner Website fern?
Kurz gesagtNur die Crawler, die sich daran halten. robots.txt ist eine Anweisung an Crawler und keine technische Sperre1. Umgekehrt sperrt eine alte Regel in der Datei oft KI-Dienste aus, ohne dass es jemand beschlossen hat.
Was robots.txt leistet
Die Datei sagt Crawlern, welche Adressen einer Website sie abrufen dürfen. Google beschreibt sie als Mittel, den Crawler-Verkehr zu steuern1.
Google weist selbst auf die Grenze hin: Nicht jede Suchmaschine unterstützt die Regeln. Und eine gesperrte Adresse kann trotzdem in den Suchergebnissen erscheinen, dann ohne Beschreibung1.
Halten sich KI-Anbieter daran?
Anthropic erklärt, dass seine Bots die Anweisungen in robots.txt beachten und zusätzlich die Angabe Crawl-delay unterstützen2.
Warum die Datei allein nichts sperrt
HasData hat 592 Websites untersucht, die GPTBot in robots.txt ausschließen. 234 davon, also 39,5 %, lieferten die Seite trotzdem aus, wenn GPTBot anfragte3.
Die Datei verhindert den Abruf technisch nicht. Wer wirklich sperren will, braucht eine Regel auf dem Server oder in der Firewall.
Die häufigere Frage: Sperren Sie versehentlich aus?
Viele Betriebe wollen in KI-Antworten genannt werden. Dann lohnt der Blick in die andere Richtung: ob robots.txt, eine Firewall oder die Seite selbst die Crawler aussperrt.
Quellen
- Google Search Central: Einführung zu robots.txt: developers.google.com
- Anthropic: Hilfeartikel zum Crawler: support.claude.com
- HasData: AI crawler block index: hasdata.com
Jede Zahl auf dieser Seite stammt aus der daneben genannten Quelle und wurde am oben genannten Tag gelesen. Zahlen aus Studien beschreiben die untersuchte Stichprobe; sie sind keine Zusage für den Einzelfall.