OpenAI（GPT）クローラーボットのブロック方法

OpenAI（GPT）では、クローラーボットを運用しています。

基本的に、GPTもデータを収集しなければ、学習を深めてアップグレードすることはできません。そのため、クロールを行っているのですが、

初期段階では、ウィキペディアのデータや各報道機関のニュースを利用していたとされ、その他にも大量のクローラーを運用していたことから物議を醸しましたが、現在は公式にGPTBotを運用しており、このボットはrobots.txtを遵守し、ブロックすればデータ収集を行わないとのことです。

関連情報：https://platform.openai.com/docs/bots

例えば、robots.txtに

のように記述すると、GPTBotのみをブロックすることができます。

今回公開されたGPTSearchは許可し、GPTBotをブロックするには、次のようにします。

必要に応じて適切な部分を活用することで、GPTによる無断クロールを阻止することができます。