Antworten · KI-Suche · Stand 14.11.2026

Welche KI-Crawler gibt es, und was tut jeder?

Kurz gesagtJeder große KI-Dienst schickt bis zu drei Arten von Abrufern. Einer sammelt für das Training. Einer baut den Suchindex. Einer kommt nur, wenn ein Mensch gerade fragt. Wer in KI-Antworten vorkommen will, lässt die Abrufer für die Suche herein.

Ihr nächster Schritt: Prüfen Sie kostenlos, ob KI-Dienste Ihre Website lesen dürfen. Das dauert eine halbe Minute.

Zehn Namen, drei Aufgaben

Name im ProtokollBetreiberWozu er kommt
OAI-SearchBotOpenAISuche: Seiten für die ChatGPT-Suche1
GPTBotOpenAITraining: Inhalte für künftige Modelle1
ChatGPT-UserOpenAIAuf Nutzerwunsch: ein Mensch fragt, ChatGPT ruft die Seite ab1
Claude-SearchBotAnthropicSuche: Suchindex für Claude2
ClaudeBotAnthropicTraining2
Claude-UserAnthropicAuf Nutzerwunsch2
PerplexityBotPerplexitySuche, kein Training3
Perplexity-UserPerplexityAuf Nutzerwunsch3
GooglebotGoogleSuche: derselbe Index speist auch AI Overviews und AI Mode4
Google-ExtendedGoogleKein eigener Abrufer: ein Name in robots.txt, der die Nutzung für das Training von Gemini steuert5

Was heißt das für Ihre robots.txt?

Jeder Name bekommt seine eigene Regel. OpenAI schreibt ausdrücklich, dass die Regeln für OAI-SearchBot und GPTBot voneinander unabhängig sind1. Sie können also das Training sperren und die Suche erlauben.

Abrufe auf Nutzerwunsch sind ein Sonderfall. OpenAI schreibt, dass robots.txt für ChatGPT-User möglicherweise nicht gilt1. Perplexity schreibt, dass Perplexity-User robots.txt im Allgemeinen nicht beachtet3. Der Grund ist derselbe: Hier fragt ein Mensch, kein automatischer Sammler.

Was robots.txt kann und was nicht: Hält robots.txt KI-Crawler von meiner Website fern?

Und Google?

Google braucht für AI Overviews und AI Mode keinen eigenen Abrufer. Beide greifen auf den normalen Suchindex zu, den Googlebot füllt4.

Google-Extended ist ein Name, den Sie in robots.txt verwenden können. Er steuert, ob Ihre Inhalte für das Training von Gemini genutzt werden. Auf die Aufnahme in die Google-Suche hat er keinen Einfluss5.

So sieht das in einem echten Protokoll aus

Auf unserer eigenen Website kamen in 16 Tagen OAI-SearchBot an 16 Tagen, PerplexityBot und GPTBot an je 15 Tagen, ClaudeBot an 12 Tagen und ChatGPT-User an 11 Tagen6. Die Abrufer für die Suche kommen also täglich. Ob sie auch bei Ihnen ankommen, zeigt der Check in einer halben Minute.

Quellen

  1. OpenAI: Overview of OpenAI Crawlers: developers.openai.com
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?: support.claude.com
  3. Perplexity: Perplexity Crawlers: docs.perplexity.ai
  4. Google Search Central: AI features and your website: developers.google.com
  5. Google Search Central: Google's common crawlers (Google-Extended): developers.google.com
  6. Metatron Marketing: eigene Serverprotokolle von metatron.marketing, 30.10. bis 14.11.2026, gezählt nach Kennung des Abrufers

Jede Zahl auf dieser Seite stammt aus der daneben genannten Quelle und wurde am 14.11.2026 gelesen. Zahlen aus Studien beschreiben die untersuchte Stichprobe; sie sind keine Zusage für den Einzelfall.

Verwandte Fragen

Alle Antworten

Bei Google als bevorzugte Quelle hinzufügen