Gemini 1.5 Flash、GPT-4o、その他LLMの価格

今回、2日間にわたってGoogleとOpenAIから、新しいAI関連の発表が相次いだ。

一般的に、人々が知りたいと思う点は大きく2つ。

性能と価格。（もちろん、他にも多くの機能がありますが、それらは専門のブロガーの方々がレビューしてくれるので…）

Open AI - GPT

OpenAIは、これまで通り、新しいGPT-4oは従来のGPT-4Tよりも安価になった。性能については、他の多くのブログを検索すれば、非常に多くのレビューが出てくるので割愛し、ここではまず価格についてのみ言及する。

基本的に、Open AIは、GPT 3.5 Turbo以降、最初にGPT 4が登場してから、新製品が登場するたびに価格を引き下げてきた。もちろん、性能は向上している。現状では、当然、安価な選択肢を選ぶべき場合は3.5 Turbo。その他のケースでは、4oを使用すれば良さそうだ。

Anthropic - Claude 3

最近、Anthropicは新製品の発表はないものの、コストパフォーマンスの高いHaikuと高性能のOpusにより、無視できないLLM企業となっている。

入力トークンの価格を基準にすると、3社の中で最も安価なHaikuは、テキストを簡単に処理する際には最も安価である。

さらに、今回Gemini Flashが登場するまでは、HaikuはGemini 1.0 Proよりも性能が優れており、非常に有用なLLMであった。

Google - Gemini

Googleは、2つの価格体系を維持している。

1つはAI Studio、もう1つはVertex AI。

AI Studioは他の企業と同様にトークンベースの価格設定になっており、Vertex AIは特異なことに文字ベースの価格設定になっている。

上の表を基準に考えると、1トークンが平均3文字未満（1～2文字）の場合、Vertex AIを使用する方が安価であり、3文字以上の場合、AI Studioの方が安価となる。しかし、通常、英語は当然文字数が多くなるため、AI Studioの方が安価である。日本語も最近では1トークンが複数の文字になる場合が多いため…

いずれにしても、入力トークンや性能だけで見ると、Gemini 1.5 Flashは1.0 Proよりもはるかに優れており、高性能な作業が必要な場合は1.5 Proが優勢である。

総合

性能だけで見ると、MMLU基準でGPT-4o ＞ Opus ＞ 1.5 Proの順になりそうである。

高度な知的作業が必要な場合はGPT-4o。少し価格が安いものを利用したい場合は、Gemini 1.5 Proを使っても問題なさそうだ。実際に使ってみると体感的に少し異なるため、ユーザーそれぞれに合ったものを利用すれば良い。

安価に大量のテキスト作業をしなければならない場合は、2つの選択肢がある。

入力に対する出力の比率が低い場合（例えば、大量の文書を入力して短い結果を出力する必要がある場合）は、Claude 3 Haikuが最も安価である。ただし、Haikuは出力コストが高いため、逆に出力の比率が高い場合（例えば、特定のテキストを入力して、それを修正、変更する指示をする場合）は、Gemini 1.5 Flashをお勧めする。そのような場合は、出力コストが最も安いのはFlashである。

要約と結論

"価格は関係なく、絶対に最も複雑な作業をする"GPT - 4o

"しかし、入力トークンのサイズが128Kを超える"( GPT - 4oは128K以下のみ可能 )→Opus

"高性能が必要だが、価格がもう少し安価であるか、またはトークンのサイズが200Kを超える"( Opusは200K以下のみ可能 )→Gemini 1.5 Pro

最も安価なLLMが必要である。→Haiku

しかし、Input/Output比率において、Outputが少し多い、または200Kトークンを超える。→Gemini 1.5 Flash