OpenAI ( GPT ) 크롤러 봇 차단하기

OpenAI (GPT)에서는 크롤러 봇을 운영한다.

기본적으로 GPT도 데이터를 수집해야 점점 더 학습을 해서 업그레이드가 가능하기에 크롤링을 하는데,

초창기에는 위키백과 데이터와 각 언론사들의 뉴스를 이용했다고 하고, 그 외에도 대량의 크롤러를 운영했다고 해서 논란이 있었는데, 지금은 공식적으로 GPTBot을 운영하고 있고 해당 봇은 robots.txt를 준수하여 차단하면 데이터 수집을 안한다고 한다.

관련 내용 : https://platform.openai.com/docs/bots

예를들어서 robots.txt 에

와 같이 작성하면 GPTBot만 차단하게 되고

이번에 공개된 GPTSearch 는 허용하고, GPTBot을 차단하려면 다음과 같이 하면 된다.

적절히 필요한 부분들을 이용하면 GPT의 무단 크롤링을 차단 할 수 있다.