OpenAI (GPT) Crawler-Bot blockieren

OpenAI (GPT) betreibt Crawler-Bots.

Grundsätzlich muss auch GPT Daten sammeln, um durch kontinuierliches Lernen immer weiter verbessert zu werden. Dazu werden Crawling-Aktivitäten durchgeführt.

In der Anfangsphase soll es sich dabei um Wikipedia-Daten und Nachrichten verschiedener Medienhäuser gehandelt haben. Es gab auch Kontroversen, da OpenAI angeblich eine große Anzahl von Crawlern betrieben hat. Mittlerweile wird offiziell GPTBot betrieben, und dieser Bot respektiert robots.txt und stoppt die Datenerfassung, wenn dies durch entsprechende Einstellungen vorgegeben wird.

Weitere Informationen dazu finden Sie unter:https://platform.openai.com/docs/bots

Wenn Sie beispielsweise in robots.txt Folgendes eintragen:

wird nur GPTBot blockiert.

Wenn Sie GPTSearch zulassen und gleichzeitig GPTBot blockieren möchten, können Sie dies wie folgt erreichen:

Durch gezielte Anpassung können Sie unberechtigtes Crawling durch GPT verhindern.