Cách chặn bot thu thập dữ liệu OpenAI (GPT)

OpenAI (GPT) đang vận hành các bot thu thập dữ liệu (crawler).

Về cơ bản, GPT cũng cần thu thập dữ liệu để học hỏi và nâng cấp, vì vậy nó thực hiện việc thu thập dữ liệu (crawling),

Trong giai đoạn đầu, GPT được cho là đã sử dụng dữ liệu từ Wikipedia và các bản tin của các hãng truyền thông, cùng với việc vận hành một lượng lớn bot thu thập dữ liệu, điều này đã gây ra tranh cãi. Tuy nhiên, hiện tại, GPT đã chính thức vận hành GPTBot và bot này tuân thủ robots.txt, nghĩa là nếu bạn chặn bot này, nó sẽ không thu thập dữ liệu của bạn nữa.

Nội dung liên quan: https://platform.openai.com/docs/bots

Ví dụ, trong robots.txt bạn có thể viết

để chỉ chặn GPTBot,

GPTSearch vừa được công bố thì được phép, và nếu bạn muốn chặn GPTBot, bạn có thể làm như sau.

Sử dụng các phần phù hợp, bạn có thể chặn việc thu thập dữ liệu trái phép của GPT.