Blokowanie crawlera bota OpenAI (GPT)

OpenAI (GPT) prowadzi działalność za pośrednictwem robota indeksującego (crawler bota).

Zasadniczo GPT również musi zbierać dane, aby móc się uczyć i ulepszać, dlatego korzysta z indeksowania (crawlingu), ale...

na początku wykorzystywał dane z Wikipedii i wiadomości z różnych agencji prasowych, a także prowadził wiele innych robotów indeksujących, co wzbudziło kontrowersje. Obecnie oficjalnie korzysta z GPTBot, który – zgodnie z zasadami robots.txt – przerywa indeksowanie, jeśli jest to zablokowane.

Powiązane informacje: https://platform.openai.com/docs/bots

Na przykład, w pliku robots.txt

można zablokować tylko GPTBot, a

jeśli chcemy zezwolić na GPTSearch, a jednocześnie zablokować GPTBot, należy wpisać następujące dane:

W odpowiedni sposób wykorzystując te informacje, można zablokować nieuprawnione indeksowanie przez GPT.