주제
- #크롤러
- #ChatGPT
- #robots.txt
- #GPT
- #OpenAI
작성: 2024-07-27
작성: 2024-07-27 23:29
OpenAI (GPT)에서는 크롤러 봇을 운영한다.
기본적으로 GPT도 데이터를 수집해야 점점 더 학습을 해서 업그레이드가 가능하기에 크롤링을 하는데,
초창기에는 위키백과 데이터와 각 언론사들의 뉴스를 이용했다고 하고, 그 외에도 대량의 크롤러를 운영했다고 해서 논란이 있었는데, 지금은 공식적으로 GPTBot을 운영하고 있고 해당 봇은 robots.txt를 준수하여 차단하면 데이터 수집을 안한다고 한다.
예를들어서 robots.txt 에
와 같이 작성하면 GPTBot만 차단하게 되고
이번에 공개된 GPTSearch 는 허용하고, GPTBot을 차단하려면 다음과 같이 하면 된다.
적절히 필요한 부분들을 이용하면 GPT의 무단 크롤링을 차단 할 수 있다.
댓글0