---
title: "KI-Crawler unterscheiden: Welche Maschinen Ihre Website für Antworten lesen"
url: "https://www.vektorrausch.de/ki-crawler-unterscheiden/"
description: "KI-Crawler lesen Ihre Website für Training, Suchindex oder den Abruf im Auftrag eines Menschen. Wie Sie die Zwecke erkennen und in robots.txt trennen."
author: "Tobias Herold"
date_published: "2026-11-18T12:14:00+00:00"
date_modified: "2026-11-18T12:52:19+00:00"
language: "de"
---

# KI-Crawler unterscheiden: Welche Maschinen Ihre Website für Antworten lesen

*KI-Crawler lesen Ihre Website für drei verschiedene Zwecke: für das Training von Sprachmodellen, für den Suchindex eines KI-Assistenten und für den Abruf im Auftrag eines Menschen, der gerade eine Frage gestellt hat. Nur die beiden letzten führen dazu, dass ein Assistent Ihren Betrieb in einer Antwort nennt. Die großen Anbieter verwenden für jeden Zweck einen eigenen Namen, und Sie können jeden davon getrennt zulassen oder sperren.*

Am 18.11.2026 bestand die robots.txt von vektorrausch.de aus fünf Zeilen. Sie sperrt den Adminbereich von WordPress, gibt darin eine technische Datei frei und nennt zwei Sitemaps. Eine eigene Regel für KI-Crawler steht nicht darin. Damit dürfen alle Maschinen alle öffentlichen Seiten lesen, auch die, die Inhalte für das Training von Sprachmodellen sammeln. Das ist eine bewusste Entscheidung. Unsere Website enthält keine vertraulichen Daten, sie dient der Information und dem Marketing. Jeden Crawler, der sie liest, werten wir deshalb als Gewinn an Sichtbarkeit. Das Thema ist noch jung, und wir beobachten es aufmerksam. Vielleicht sperren wir später einzelne Crawler aus. Ob sie sich dann an die robots.txt halten, ist eine andere Frage.

![Die robots.txt von vektorrausch.de mit fünf Zeilen: User-agent Stern, Disallow für den Adminbereich, Allow für admin-ajax.php und zwei Sitemaps. Eine eigene Regel für KI-Crawler fehlt, Training, Suchindex und Abruf im Auftrag sind erlaubt.](https://www.vektorrausch.de/wp-content/uploads/2026/11/vektorrausch-infografik-crawler-robots-txt.webp)

Hinter dieser kurzen Datei steht eine Frage, die sich jeder Betrieb stellen kann: Welche der Maschinen, die meine Seiten abrufen, bringen mir Nennungen in KI-Antworten, und welche sammeln nur? Die Antwort steht in den Namen, mit denen sich die Crawler melden. OpenAI, Anthropic und Perplexity trennen Training, Suche und Abruf im Auftrag inzwischen sauber voneinander. Die Entscheidung über das Training lässt sich deshalb treffen, ohne die Sichtbarkeit in KI-Antworten aufzugeben.

## Drei Zwecke, für die Maschinen Ihre Website lesen

KI-Crawler sind Programme, die Webseiten im Auftrag eines KI-Anbieters abrufen. Training heißt, die Inhalte fließen in künftige Sprachmodelle ein. Suche heißt, der Anbieter baut einen eigenen Index auf, aus dem sein Assistent Quellen für Antworten auswählt. Abruf im Auftrag heißt, ein Mensch hat eine Frage gestellt und der Assistent öffnet Ihre Seite in diesem Moment, um sie zu beantworten.

| Anbieter | Training | Suchindex | Abruf im Auftrag eines Menschen |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | kein eigener Trainings-Crawler laut Anbieter | PerplexityBot | Perplexity-User |
| Google | Google-Extended (Steuerzeichen ohne eigenen Crawler) | Googlebot | kein eigener Name dokumentiert |

Quellen: [OpenAI, Crawler-Dokumentation](https://developers.openai.com/api/docs/bots), [Anthropic, Hilfeartikel zu den Crawlern](https://support.claude.com/de/articles/8896518), [Perplexity, Crawler-Dokumentation](https://docs.perplexity.ai/guides/bots), [Google Search Central, Stand 15.10.2026](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers), alle abgerufen am 28.10.2026.

![Drei Zwecke von KI-Crawlern mit den Namen je Anbieter. Training: GPTBot, ClaudeBot, Google-Extended, ohne Nennung in KI-Antworten. Suchindex: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, mit Nennung. Abruf im Auftrag: ChatGPT-User, Claude-User, Perplexity-User, mit Nennung.](https://www.vektorrausch.de/wp-content/uploads/2026/11/vektorrausch-infografik-crawler-drei-zwecke.webp)

Perplexity schreibt, PerplexityBot werde nicht für das Training von Basismodellen eingesetzt. Bei Google ist Googlebot zugleich der Crawler für die Suche und für die KI-Übersicht. Google-Extended ist nur ein Zeichen in der robots.txt, mit dem Betreiber steuern, ob Google die Inhalte für das Training künftiger Gemini-Modelle und für Antworten in Gemini verwenden darf.

## Training überwiegt, der Abruf im Auftrag wächst am schnellsten

Den größten Teil der Abrufe durch KI-Crawler machen Trainings-Crawler aus. Cloudflare, über dessen Netz ein großer Teil des Webverkehrs läuft, zählte 2025 für das Training in der Spitze sieben- bis achtmal so viele Abrufe wie für die Suche und 32-mal so viele wie für Abrufe im Auftrag eines Menschen ([Cloudflare Radar, Jahresrückblick 2025](https://blog.cloudflare.com/radar-2025-year-in-review/)).

Am schnellsten gewachsen sind die Abrufe im Auftrag. Laut Cloudflare wuchsen sie 2025 auf mehr als das 15-Fache, von Januar bis Anfang Dezember gerechnet auf mehr als das 21-Fache. Jeder dieser Abrufe gehört zu einer Frage, die ein Mensch gerade gestellt hat. Wie stark der Anteil der Maschinen am gesamten Verkehr gewachsen ist, haben wir im Beitrag [Mehr Agenten als menschliche Besucher](https://www.vektorrausch.de/mehr-agenten-als-menschliche-besucher-was-das-fuer-ihre-website-heisst/) zusammengetragen.

Wie wenig vom Training zurückkommt, zeigt das Verhältnis von Abrufen zu Besuchen, die ein Anbieter auf die Website zurückschickt. Bei Anthropic lag es 2025 ab Juni bei 25.000 bis 100.000 Abrufen je Besuch, bei OpenAI im März in der Spitze bei 3.700 zu 1, bei Perplexity ab September unter 200 zu 1. Die Zahlen beschreiben alle Crawler eines Anbieters zusammen, eine Trennung nach Zweck nennt Cloudflare dafür nicht.

![Balkendiagramm der Abrufe je zurückgeschicktem Besuch im Jahr 2025: Anthropic ab Juni 25.000 bis 100.000, OpenAI in der Spitze 3.700, Perplexity unter 200.](https://www.vektorrausch.de/wp-content/uploads/2026/11/vektorrausch-infografik-crawler-abrufe-je-besuch-2025.webp)

## Training ablehnen und in KI-Antworten bleiben

Das Training lässt sich bei den großen Anbietern ablehnen, ohne die Nennung in KI-Antworten zu verlieren. OpenAI schreibt ausdrücklich, dass jede Einstellung unabhängig von den anderen gilt: Eine Sperre für GPTBot bedeutet, dass die Inhalte nicht für das Training verwendet werden sollen, und eine Sperre für OAI-SearchBot nimmt die Seite aus den Suchantworten von ChatGPT.

Für eine solche Entscheidung reichen zwei Zeilen je Crawler in der robots.txt, etwa `User-agent: GPTBot` mit `Disallow: /`. Anthropic behandelt ClaudeBot, Claude-SearchBot und Claude-User ebenfalls getrennt und warnt, dass eine Sperre von Claude-SearchBot oder Claude-User die Sichtbarkeit in den Suchergebnissen von Claude verringern kann. Bei Google ändert eine Sperre von Google-Extended nach Googles eigener Aussage nichts an der Aufnahme in die Google-Suche und ist kein Rankingsignal.

Eine Sperre wirkt nur für künftige Abrufe. Anthropic beschreibt sie als Signal, dass künftige Inhalte einer Seite aus den Trainingsdaten herausgehalten werden sollen. Was bereits gesammelt wurde, bleibt davon unberührt.

Ob Sie das Training zulassen, ist eine unternehmerische Entscheidung. Für einen Handwerksbetrieb, dessen Leistungsbeschreibungen möglichst viele Menschen lesen sollen, spricht wenig gegen das Training. Für einen Verlag oder einen Betrieb mit eigenen Fachdaten kann eine Sperre sinnvoll sein.

## Was der Abruf im Auftrag für Ihren Betrieb heißt

Ein Abruf durch ChatGPT-User, Claude-User oder Perplexity-User bedeutet, dass ein Mensch gerade eine Frage gestellt hat, zu der Ihre Seite passt. Der Assistent liest sie in diesem Moment, um zu antworten. Für einen Betrieb ist das der direkteste Hinweis, dass er gerade in einer Vorauswahl steht.

Für diese Abrufe gelten die Regeln der robots.txt nur eingeschränkt. OpenAI schreibt, dass sie für ChatGPT-User möglicherweise nicht gelten, weil ein Mensch den Abruf ausgelöst hat. Perplexity schreibt, dass Perplexity-User die robots.txt in der Regel nicht beachtet. Eine Seite lässt sich für diese Abrufe nur über eine Firewall ganz schließen. Damit bleibt allerdings auch die Kundschaft draußen, die über einen Assistenten fragt.

Wie sich seriöse Agenten von Programmen unterscheiden lassen, die sich nur als solche ausgeben, beschreibt der Beitrag [Gute Agenten reinlassen, Wirkung messen](https://www.vektorrausch.de/agent-readiness-bots-messen/). Dieser Beitrag bleibt bei der Frage, wofür die echten Crawler Ihre Seite lesen.

## Woran Sie KI-Crawler in der Logdatei erkennen

In der Logdatei Ihres Servers steht bei jedem Abruf eine Kennung, der sogenannte User-Agent, mit dem sich das Programm meldet. Die Namen aus der Tabelle oben tauchen darin wörtlich auf. Eine Auswertung nach diesen Namen zeigt, wie viele Abrufe für Training, Suchindex und Abruf im Auftrag auf Ihre Seiten entfallen und welche Seiten die Assistenten im Auftrag am häufigsten öffnen.

Für vektorrausch.de haben wir das ausgewertet. Unser Plugin „Agentengerecht Markdown“ zählt die Abrufe erkannter Bots nach ihrem User-Agent. Vom 12.10. bis 18.11.2026 kamen von den Crawlern von OpenAI, Anthropic und Perplexity 4.089 Abrufe: 1.848 für das Training, 1.589 für den Suchindex und 652 im Auftrag eines Menschen. Rund 16 % der Abrufe dieser drei Anbieter gehörten damit zu einer Frage, die jemand gerade gestellt hat. Eigene Testabrufe sind herausgerechnet. Googlebot kam im selben Zeitraum auf 2.190 Abrufe. Was die Bots dabei angefordert haben, steht im Beitrag [Wollen KI-Agenten wirklich Markdown?](https://www.vektorrausch.de/ki-agenten-markdown/).

![Balkendiagramm der Abrufe auf vektorrausch.de vom 12.10. bis 18.11.2026 nach Zweck: Training 1.848 (ClaudeBot 1.615, GPTBot 233), Suchindex 1.589 (PerplexityBot 829, OAI-SearchBot 665, Claude-SearchBot 95), Abruf im Auftrag 652 (Claude-User 319, ChatGPT-User 245, Perplexity-User 88).](https://www.vektorrausch.de/wp-content/uploads/2026/11/vektorrausch-infografik-crawler-eigene-abrufe.webp)

Viele Websites laufen hinter einem Schutzdienst wie Cloudflare. Bei Cloudflare gibt es seit dem 01.07.2026 drei getrennte Einstellungen für Suche, Agenten und Training, sie lösen die eine Schaltfläche für alle KI-Crawler ab. Seit dem 15.09.2026 schlägt Cloudflare neu angemeldeten Domains mit Werbung als Voreinstellung vor, das Training zu untersagen und Agenten auf Seiten mit Werbung zu sperren (Cloudflare, [01.07.2026](https://blog.cloudflare.com/content-independence-day-ai-options/) und [15.09.2026](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)). Ein Blick in diese Einstellungen gehört deshalb zu jeder Prüfung, ob Assistenten Ihre Seite lesen können. Was eine Seite darüber hinaus braucht, damit ein Assistent ihre Inhalte versteht, beschreibt unser Beitrag [Wird Ihre Website von KI gelesen?](https://www.vektorrausch.de/agent-readiness-website-gelesen-werden/).

## Zurück zur robots.txt

Die fünf Zeilen auf vektorrausch.de lassen alle drei Zwecke zu. Für jeden anderen Betrieb lohnt dieselbe Probe: die eigene robots.txt öffnen, die Einstellungen im Schutzdienst prüfen und für jeden der drei Zwecke einzeln entscheiden.

Was agentengerecht.de kostet und was es kann, steht offen auf [agentengerecht.de](https://www.agentengerecht.de/preise/). Wie wir Websites für Menschen und KI-Agenten bauen, steht auf unserer Seite zu [Agent Readiness](https://www.vektorrausch.de/loesungen/agent-readiness/).

---

## Häufige Fragen zu KI-Crawlern

**Ist ChatGPT-User ein Mensch oder ein Bot?**

ChatGPT-User ist ein Programm von OpenAI, das im Auftrag eines Menschen eine Seite abruft. Der Abruf entsteht, sobald jemand in ChatGPT eine Frage stellt oder einen Link teilt und der Assistent die Seite dafür öffnet. OpenAI setzt ChatGPT-User nach eigener Aussage nicht für das automatische Durchsuchen des Webs ein und nicht dafür, ob eine Seite in der Suche von ChatGPT erscheint.

**Nimmt eine Sperre von Google-Extended meine Seite aus den KI-Übersichten?**

Nein, Google-Extended steuert die Verwendung für das Training von Gemini-Modellen und für Antworten in Gemini, nicht die Google-Suche. Die KI-Übersicht ist Teil der Suche und nutzt den Googlebot. Wie viel Text Google in Suchergebnissen und KI-Funktionen zeigt, steuern Betreiber über Angaben wie nosnippet und max-snippet im Code der Seite.

**Kann ich KI-Crawler bremsen, statt sie zu sperren?**

Zum Teil. Anthropic unterstützt für ClaudeBot die Angabe Crawl-delay in der robots.txt, mit der Betreiber einen Abstand zwischen zwei Abrufen festlegen. Andere Anbieter dokumentieren das nicht. Schutzdienste wie Cloudflare können einzelne Crawler außerdem drosseln. Bei kleinen Websites ist die Last selten das Problem, dort verfälschen die Abrufe eher einfache Besucherstatistiken wie Statify. Bei großen Websites, Onlineshops und Portalen können Menge und Takt der Abrufe den Server überlasten. In zwei unserer Projekte mussten wir Crawler aussperren, weil der Server unter den Abrufen zusammenbrach.

**Woran erkenne ich, ob ein Crawler wirklich der ist, der er vorgibt?**

Die Kennung im User-Agent kann jedes Programm frei wählen, sie allein ist kein Beweis. Sicherer ist der Abgleich der Herkunftsadresse mit den Adressbereichen, die die Anbieter veröffentlichen, oder ein Schutzdienst, der verifizierte Crawler ausweist. Anthropic weist darauf hin, dass eine Sperre über Adressbereiche das Lesen der robots.txt behindern kann.

---

---

**Transparenzhinweis:** Für diesen Beitrag haben wir KI zur Recherche und für Rohfassungen einzelner Abschnitte eingesetzt. Fachliche Aussagen, Zahlen und Empfehlungen stammen von uns. Redaktionell geprüft und freigegeben von Tobias Herold. Wie wir KI einsetzen und wann eine Kennzeichnung Pflicht ist, steht auf unserer Seite zur [KI-Transparenz](https://www.vektorrausch.de/ki-transparenz/).
