KI-Crawler erklärt: wen du zulässt, wen du blockierst

„Sollen wir KI-Crawler blockieren?“ ist inzwischen eine Standardfrage. Und die Standardantwort, ein Pauschal-Block auf alles mit KI im Namen, zerstört still und leise Sichtbarkeit. Die Verwirrung entsteht, weil alle KI-Crawler in einen Topf geworfen werden. Es sind aber zwei Gruppen mit gegensätzlichen Konsequenzen, und eine gute robots.txt behandelt sie unterschiedlich.

Die Unterscheidung, auf die es ankommt: Suche vs. Training

Such- (oder Antwort-)Crawler rufen deine Seiten ab, damit ein Assistent dich in einer Live-Antwort zitieren und empfehlen kann: Sie sind das KI-Gegenstück zum Googlebot, und wer sie blockiert, wird in KI-Antworten unsichtbar. Trainings-Crawler sammeln Inhalte, um zukünftige Modelle zu trainieren. Sie haben nichts damit zu tun, ob du auftauchst, und sie zu blockieren ist eine legitime inhaltspolitische Entscheidung, die dich exakt null Sichtbarkeit kostet. Jede robots.txt-Entscheidung wird einfach, sobald du den Bot in die richtige Gruppe einsortierst.

Die Such-Crawler: Lass diese durch

Vier sind aktuell am wichtigsten. OAI-SearchBot indexiert Seiten für die ChatGPT-Suche. ChatGPT-User ruft eine Seite live ab, wenn die Frage eines Nutzers es verlangt. PerplexityBot speist die zitierten Antworten von Perplexity. Claude-SearchBot macht dasselbe für Claude. Sperr einen davon per Disallow, und dieser Assistent kann deine Website nicht lesen, also auch nicht nennen, wenn jemand in deiner Nähe genau das sucht, was du anbietest. Für ein lokales Unternehmen gibt es keinen Vorteil, sie zu blockieren.

Die Trainings-Crawler: deine Entscheidung

GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) und CCBot (Common Crawl) sammeln Inhalte fürs Modelltraining. Sie zuzulassen oder zu blockieren ist eine Grundsatz- und Geschäftsentscheidung, keine Sichtbarkeitsfrage. Google-Extended ist das sauberste Beispiel: Blockierst du ihn, nimmst du deine Inhalte aus dem Training von Googles KI-Modellen, ohne jeden Effekt auf dein Ranking in der Google-Suche oder dein Auftauchen in den AI Overviews.

Fertige robots.txt-Regeln, erklärt

Jede Regel besteht aus zwei schlichten Zeilen in deiner robots.txt. Das bewirken sie:

• User-agent: GPTBot → Disallow: / (blockiert nur das Modelltraining von OpenAI; ChatGPT kann dich über OAI-SearchBot weiterhin zitieren).
• User-agent: CCBot → Disallow: / (blockiert den Common-Crawl-Datensatz, mit dem viele Modelle trainieren).
• User-agent: Google-Extended → Disallow: / (steigt aus dem KI-Training von Google aus; die normale Suche bleibt unberührt).
• User-agent: OAI-SearchBot → Allow: / (hält dich in den Suchantworten von ChatGPT sichtbar).
• User-agent: PerplexityBot → Allow: / (hält dich in Perplexity zitierbar).
• User-agent: Claude-SearchBot → Allow: / (hält dich in Claude zitierbar).

Der Pauschal-Block-Fehler

Das schlimmste Muster da draußen: Ein Security-Plugin oder eine gut meinende Agentur baut eine Wand aus Disallow-Regeln für jeden bekannten KI-User-Agent, Such-Crawler inklusive. Der Websitebetreiber glaubt, seine Inhalte geschützt zu haben; tatsächlich hat er sich aus jeder KI-Antwort entfernt, während die Konkurrenz drinbleibt. Wenn jemand auf deiner Website „KI-Blocking“ eingerichtet hat, prüf genau, welche User-Agents es umfasst, bevor du annimmst, dass es die richtige Entscheidung war.

Ein vernünftiger Standard für lokale Unternehmen

Lass die vier Such-Crawler zu. Entscheide bewusst über die Trainings-Crawler: Für die meisten lokalen Unternehmen sind die Inhalte nicht sensibel genug, um das Blockieren zu rechtfertigen, aber beide Entscheidungen sind vertretbar. Und prüf nach jedem Website-Relaunch und jedem Plugin-Update nach: robots.txt-Regressionen sind lautlos, und dass du aus den KI-Antworten verschwunden bist, merkst du erst, wenn die Anrufe ausbleiben.

Prüf deine Website in 10 Sekunden

Der kostenlose ScanToPitch AI Visibility Check auf scantopitch.com/audit liest deine robots.txt und zeigt dir sofort, welche KI-Crawler du zulässt und welche du blockierst (Suche und Training sauber getrennt), ohne Anmeldung.