Bloquer le bot crawler d'OpenAI (GPT)

OpenAI (GPT) exploite des robots d'exploration (crawlers).

Fondamentalement, GPT doit également collecter des données pour pouvoir continuer à apprendre et à s'améliorer, c'est pourquoi il effectue du crawling (exploration de données), mais...

Au début, il utilisait les données de Wikipédia et les actualités de divers organes de presse, et il exploitait également un grand nombre de robots d'exploration, ce qui a suscité des controverses. Aujourd'hui, il exploite officiellement GPTBot, et ce robot respecte le fichier robots.txt, ce qui signifie qu'il arrête de collecter des données si vous le bloquez.

Informations connexes :https://platform.openai.com/docs/bots

Par exemple, si vous écrivez dans le fichier robots.txt :

vous bloquerez uniquement GPTBot,

GPTSearch, récemment publié, est autorisé, et pour bloquer GPTBot tout en autorisant GPTSearch, procédez comme suit :

En utilisant les éléments nécessaires de manière appropriée, vous pouvez bloquer l'exploration non autorisée de GPT.