OpenAI (GPT) crawlerbot blokkeren

OpenAI (GPT) gebruikt crawlers.

Omdat GPT in principe ook gegevens moet verzamelen om steeds verder te leren en te verbeteren, wordt er gecrawled,

in de beginfase werd er naar verluidt gebruik gemaakt van Wikipedia-gegevens en nieuws van verschillende nieuwsorganisaties, en er werd ook een groot aantal crawlers gebruikt, wat tot controverse leidde. Momenteel wordt er officieel GPTBot gebruikt, en deze bot respecteert robots.txt en stopt met het verzamelen van gegevens als dit wordt geblokkeerd.

Gerelateerde inhoud: https://platform.openai.com/docs/bots

Bijvoorbeeld, als je in robots.txt

voegt, blokkeer je alleen GPTBot,

en als je GPTSearch wilt toestaan en GPTBot wilt blokkeren, doe je dit:

Door de juiste onderdelen te gebruiken, kun je het ongeoorloofd crawlen van GPT blokkeren.