Как заблокировать OpenAI (GPT) Crawler Bot

OpenAI (GPT) использует краулер-ботов.

По сути, GPT также нуждается в сборе данных для дальнейшего обучения и совершенствования, поэтому он использует краулинг, но...

На начальном этапе, как сообщается, использовались данные Википедии и новостные ленты различных СМИ, а также работало большое количество краулеров, что вызвало споры. Сейчас же официально используется GPTBot, который, согласно файлу robots.txt, прекращает сбор данных, если это запрещено.

Связанная информация: https://platform.openai.com/docs/bots

Например, в файле robots.txt

можно указать запрет только для GPTBot, а...

Если необходимо разрешить GPTSearch и запретить GPTBot, то можно использовать следующий код:

При необходимости можно использовать соответствующие элементы для блокировки несанкционированного краулинга GPT.