Wer da auf Ihrer Website mitliest
Auf Ihrer Website sind nicht nur Menschen unterwegs. Ein guter Teil der Besuche kommt von Programmen. Der bekannteste ist der Googlebot, der Seiten für die Suche einliest. Seit ein paar Jahren kommen neue dazu: die Crawler der KI-Assistenten.
Und jetzt kommt die Frage, die mir Kunden in letzter Zeit öfter stellen: „Soll ich die aussperren? Die nehmen ja meine Texte.“ Verstehe ich. Die Antwort hängt aber davon ab, womit Sie Ihr Geld verdienen.
Was die robots.txt kann und was nicht
Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Darin steht, welcher Crawler welche Bereiche lesen darf.
Wichtig ist, was sie nicht ist: Sie ist kein Schloss. Sie ist ein Schild an der Tür. Seriöse Crawler halten sich daran, erzwingen können Sie es nicht. Google schreibt das auch selbst: Die Datei ist kein Mechanismus, um eine Seite verlässlich aus dem Index herauszuhalten.
Zulassen: „User-agent: GPTBot“ und darunter „Allow: /“.
Sperren: „User-agent: GPTBot“ und darunter „Disallow: /“.
Für alle: „User-agent: *“ gilt für jeden Crawler, der keine eigene Regel hat.
Die wichtigsten KI-Crawler
| Name | Wozu er liest | Wenn Sie ihn sperren |
|---|---|---|
| GPTBot | Training der Modelle hinter ChatGPT | Ihre Texte fließen nicht ins Training ein |
| OAI-SearchBot | Suche innerhalb von ChatGPT | Ihre Seite erscheint dort nicht als Quelle |
| ClaudeBot | Crawler des Assistenten Claude | Ihre Inhalte werden dort nicht eingelesen |
| PerplexityBot | Index der Antwortmaschine Perplexity | Ihre Seite wird dort nicht verlinkt |
| Google-Extended | Steuert die Nutzung für Gemini | Laut Google keine Auswirkung auf die Suche |
| robots.txt von web-focus.at | Alle fünf sind ausdrücklich erlaubt | Wir wollen in KI-Antworten genannt werden |
Google-Extended ist ein Sonderfall. Das ist kein eigener Crawler, sondern ein Name, den Sie in der robots.txt ansprechen können. Damit steuern Sie, ob Ihre Inhalte für Gemini verwendet werden. Auf die Aufnahme in die Google Suche und auf das Ranking hat das laut Google keinen Einfluss.
Die „Übersicht mit KI“ in der Suche läuft dagegen über den normalen Googlebot. Wer dort nicht vorkommen will, muss mit den Snippet-Einstellungen arbeiten und verliert damit auch Sichtbarkeit in der Suche. Mehr dazu im Artikel über Google AI Overviews.
Zulassen oder sperren?
Fragen Sie sich, wovon Sie leben.
Sie verkaufen eine Leistung: Tischler, Steuerberaterin, Hotel. Ihre Texte sind Werbung. Je öfter sie gelesen werden, desto besser. Zulassen.
Sie verkaufen die Inhalte selbst: Fachverlag, Kursanbieter, Datenbank. Da ist der Text das Produkt. Sperren kann sinnvoll sein.
Sie sind sich nicht sicher: Dann lassen Sie die Such-Crawler zu und überlegen nur beim Training.
Für die allermeisten Betriebe, mit denen ich rede, ist es der erste Fall. Wenn jemand einen KI-Assistenten nach einem Installateur in seiner Gegend fragt, wollen Sie in der Antwort stehen. Das geht nur, wenn der Assistent Ihre Seite lesen durfte.
So prüfen Sie Ihre eigene Datei
Tippen Sie Ihre Domain in den Browser und hängen Sie „/robots.txt“ an. Dann sehen Sie, was dort steht.
Es kommt eine Fehlerseite: Sie haben keine robots.txt. Dann dürfen alle Crawler alles lesen. Das ist kein Drama.
Es steht „Disallow: /“ unter „User-agent: *“: Dann ist die ganze Website gesperrt. Das ist fast immer ein Überbleibsel aus der Bauphase und gehört sofort weg.
Es stehen einzelne KI-Crawler mit „Disallow“ drin: Dann hat das jemand bewusst eingestellt. Oder ein Plugin. Fragen Sie nach.
Das Zweite seh ich öfter, als mir lieb ist. Eine Zeile, und die Seite ist für Google unsichtbar.
„Aber dann klaut die KI meine Texte“
Der Einwand ist berechtigt, und ich will ihn nicht kleinreden. Was mit eingelesenen Inhalten rechtlich passieren darf, wird gerade vor Gerichten geklärt. Das kann ich Ihnen nicht beantworten.
Praktisch gesehen: Ein Text, der Ihre Leistung beschreibt, ist kein Geheimnis. Den soll ja jeder lesen. Der Schaden, wenn er nicht gelesen wird, ist für einen Betrieb meistens größer.
Was Sie sonst noch tun können, damit KI-Assistenten Ihren Betrieb richtig beschreiben, steht in den Artikeln Was ist GEO? und zur llms.txt.
Quellen
- Google Search Central: Einführung zu robots.txt-Dateien, abgerufen am 11. September 2026
- Google Search Central: Gewöhnliche Crawler von Google, Abschnitt Google-Extended, abgerufen am 11. September 2026
- Google Search Central: KI-Funktionen und Ihre Website, abgerufen am 11. September 2026
- Wikipedia: Robots Exclusion Standard, abgerufen am 11. September 2026
- Dokumentation der Anbieter von ChatGPT, Claude und Perplexity zu ihren Crawlern, abgerufen am 11. September 2026; robots.txt von web-focus.at, Stand Oktober 2026