Cara Memblokir Crawler Bot OpenAI (GPT)

OpenAI (GPT) mengoperasikan bot perayap.

Pada dasarnya, GPT juga perlu mengumpulkan data agar dapat terus belajar dan ditingkatkan, sehingga melakukan crawling,

Pada tahap awal, mereka menggunakan data Wikipedia dan berita dari berbagai perusahaan media, dan juga mengoperasikan sejumlah besar perayap sehingga memicu kontroversi. Namun, saat ini mereka secara resmi mengoperasikan GPTBot, dan bot tersebut akan menghentikan pengumpulan data jika diblokir melalui robots.txt.

Informasi terkait: https://platform.openai.com/docs/bots

Misalnya, pada robots.txt

Jika ditulis seperti itu, hanya GPTBot yang akan diblokir, dan

GPTSearch yang baru saja dirilis diizinkan, dan jika Anda ingin memblokir GPTBot, Anda dapat melakukannya seperti ini.

Dengan menggunakan bagian yang diperlukan secara tepat, Anda dapat memblokir crawling yang tidak sah dari GPT.