Ratgeber · So lesen KI-Dienste Ihre Website
ChatGPT und die Suchroboter von OpenAI
OpenAI schickt drei verschiedene Roboter los. Einer sucht für ChatGPT, einer sammelt für das Training, einer holt Seiten, wenn ein Nutzer danach fragt. Wer das auseinanderhält, kann gefunden werden, ohne seine Texte fürs Training herzugeben.
Worum es geht
Wenn jemand in ChatGPT nach einem Betrieb in seiner Nähe fragt, sucht ChatGPT im Netz und nennt Quellen mit Link. Damit Ihre Website dort auftauchen kann, muss der Suchroboter von OpenAI sie lesen dürfen. Ob OpenAI Ihre Texte zusätzlich zum Training künftiger Modelle nutzt, steuern Sie getrennt.
Die Roboter im Überblick
| Name | Wofür | robots.txt | Training |
|---|---|---|---|
| OAI-SearchBot | Findet Seiten für die Suche in ChatGPT | beachtet | nein |
| GPTBot | Sammelt Inhalte für das Training von Modellen | beachtet | ja |
| ChatGPT-User | Ruft eine Seite ab, wenn ein Nutzer in ChatGPT danach fragt | gilt nicht unbedingt | kein Crawler |
So steuern Sie es
Wer in der ChatGPT-Suche vorkommen will, darf OAI-SearchBot nicht sperren. Laut OpenAI erscheinen gesperrte Seiten nicht in den Suchantworten, höchstens noch als einfacher Link. Wer kein Training möchte, sperrt nur GPTBot:
User-agent: GPTBot
Disallow: /
OpenAI gibt an, dass eine Änderung der robots.txt etwa 24 Stunden braucht, bis sie wirkt. Erlauben Sie beide Roboter, kann OpenAI einen Abruf für beide Zwecke nutzen.
Was das für Ihre Firma heißt
Für die meisten Betriebe lautet die Empfehlung: OAI-SearchBot erlauben, über GPTBot nach eigener Haltung entscheiden. ChatGPT-User handelt im Auftrag eines Menschen, der gerade eine Frage stellt. OpenAI weist darauf hin, dass robots.txt-Regeln dafür nicht unbedingt gelten.
Häufige Fragen
Schadet es meiner Sichtbarkeit, wenn ich GPTBot sperre?
Nach Angaben von OpenAI steuert GPTBot das Training. Für die Suche in ChatGPT ist OAI-SearchBot zuständig.
Wie prüfe ich, ob ich OpenAI aussperre?
Station 6 im Check liest Ihre robots.txt und zeigt, ob OAI-SearchBot oder ChatGPT-User gesperrt sind.
Wie schnell wirkt eine Änderung?
OpenAI nennt etwa 24 Stunden.