Antworten · KI-Suche · Stand 14.11.2026
Welche KI-Crawler gibt es, und was tut jeder?
Kurz gesagtJeder große KI-Dienst schickt bis zu drei Arten von Abrufern. Einer sammelt für das Training. Einer baut den Suchindex. Einer kommt nur, wenn ein Mensch gerade fragt. Wer in KI-Antworten vorkommen will, lässt die Abrufer für die Suche herein.
Zehn Namen, drei Aufgaben
| Name im Protokoll | Betreiber | Wozu er kommt |
|---|---|---|
| OAI-SearchBot | OpenAI | Suche: Seiten für die ChatGPT-Suche1 |
| GPTBot | OpenAI | Training: Inhalte für künftige Modelle1 |
| ChatGPT-User | OpenAI | Auf Nutzerwunsch: ein Mensch fragt, ChatGPT ruft die Seite ab1 |
| Claude-SearchBot | Anthropic | Suche: Suchindex für Claude2 |
| ClaudeBot | Anthropic | Training2 |
| Claude-User | Anthropic | Auf Nutzerwunsch2 |
| PerplexityBot | Perplexity | Suche, kein Training3 |
| Perplexity-User | Perplexity | Auf Nutzerwunsch3 |
| Googlebot | Suche: derselbe Index speist auch AI Overviews und AI Mode4 | |
| Google-Extended | Kein eigener Abrufer: ein Name in robots.txt, der die Nutzung für das Training von Gemini steuert5 |
Was heißt das für Ihre robots.txt?
Jeder Name bekommt seine eigene Regel. OpenAI schreibt ausdrücklich, dass die Regeln für OAI-SearchBot und GPTBot voneinander unabhängig sind1. Sie können also das Training sperren und die Suche erlauben.
Abrufe auf Nutzerwunsch sind ein Sonderfall. OpenAI schreibt, dass robots.txt für ChatGPT-User möglicherweise nicht gilt1. Perplexity schreibt, dass Perplexity-User robots.txt im Allgemeinen nicht beachtet3. Der Grund ist derselbe: Hier fragt ein Mensch, kein automatischer Sammler.
Was robots.txt kann und was nicht: Hält robots.txt KI-Crawler von meiner Website fern?
Und Google?
Google braucht für AI Overviews und AI Mode keinen eigenen Abrufer. Beide greifen auf den normalen Suchindex zu, den Googlebot füllt4.
Google-Extended ist ein Name, den Sie in robots.txt verwenden können. Er steuert, ob Ihre Inhalte für das Training von Gemini genutzt werden. Auf die Aufnahme in die Google-Suche hat er keinen Einfluss5.
So sieht das in einem echten Protokoll aus
Auf unserer eigenen Website kamen in 16 Tagen OAI-SearchBot an 16 Tagen, PerplexityBot und GPTBot an je 15 Tagen, ClaudeBot an 12 Tagen und ChatGPT-User an 11 Tagen6. Die Abrufer für die Suche kommen also täglich. Ob sie auch bei Ihnen ankommen, zeigt der Check in einer halben Minute.
Quellen
- OpenAI: Overview of OpenAI Crawlers: developers.openai.com
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?: support.claude.com
- Perplexity: Perplexity Crawlers: docs.perplexity.ai
- Google Search Central: AI features and your website: developers.google.com
- Google Search Central: Google's common crawlers (Google-Extended): developers.google.com
- Metatron Marketing: eigene Serverprotokolle von metatron.marketing, 30.10. bis 14.11.2026, gezählt nach Kennung des Abrufers
Jede Zahl auf dieser Seite stammt aus der daneben genannten Quelle und wurde am 14.11.2026 gelesen. Zahlen aus Studien beschreiben die untersuchte Stichprobe; sie sind keine Zusage für den Einzelfall.
