今回は、2日間連続でGoogleとOpenAIが新しいAIに関する発表を行った。

一般的に人々が興味を持つのは、主に2つの点だ。

性能と価格。（もちろん、他にも多くの機能があるが、それは専門のブロガーに任せるとして…）

Open AI - GPT

OpenAIはいつもそうだが、新型4oは従来のGPT-4Tよりも安価になった。性能については、他の多くのブログで検索すれば、非常に多くのレビューが出てくるのでパスする。ここでは、まず価格についてのみ議論する。

基本的には、Open AIはGPT 3.5 Turbo以降、GPT 4が最初にリリースされた後、新製品が出るたびに価格を引き下げてきた。もちろん、性能は向上している。現状では、当然ながら安価な料金を選択する必要がある場合は、3.5 Turbo。それ以外のケースでは、4oを使用すれば良いだろう。

Anthropic - Claude 3

最近Anthropicは新製品発表はないが、コストパフォーマンスで利用できるHaikuと高性能のOpusがあるため、LLM企業として無視できない。

Inputトークンの価格を基準にすると、3社の中で最も安価なHaikuは、テキストを簡単に処理する際には最も安価だ。

しかも、今回Gemini Flashが登場するまでは、HaikuはGemini 1.0 Proよりも性能が優れており、非常に有用なLLMだった。

Google - Gemini

Googleは2つの価格体系を維持している。

1つはAI Studio、もう1つはVertex AI。

AI Studioは、他の企業と同様にTokenベースの価格設定となっているが、Vertex AIは、文字ベースの価格設定となっている点がユニークだ。

上記の表を基準に考えると、1トークンが平均3文字未満（1～2文字）の場合には、Vertex AIを使用した方が安価で、3文字以上の場合にはAI Studioの方が安価になる。しかし、通常英語は文字数が多いため、AI Studioの方が安価になる。日本語も最近は1トークンが複数文字になるケースが多いため…

いずれにせよ、入力トークンや性能だけを見ても、Gemini 1.5 Flashは1.0 Proよりもはるかに優れている。高性能な作業が必要な場合は、1.5 Proが優勢だ。

総合

性能だけを見れば、MMLU基準ではGPT-4o > Opus > 1.5 Proのようだ。

高度な知的作業が必要な場合は、GPT-4o。少し価格が安いものを利用したい場合は、Gemini 1.5 Proを使っても良さそうだ。実際に使ってみると、体感的に少し異なるため、ユーザーそれぞれに合ったものを使用すれば良い。

安価に大量のテキスト作業を行う必要がある場合は、2つの選択肢がある。

Inputに対するOutputの比率が低い場合 （例えば、大量の文書を入力して短い結果を出力する必要がある場合）には、Claude 3 Haikuが最も安価だ。ただし、Haikuは出力料金が高いため、逆にOutputの比率が高い場合 （例えば、特定のテキストを入力して、それを修正・変更する作業を指示する場合）には、Gemini 1.5 Flashを推奨する。その場合は、Flashが最も出力料金が安い。

要約と結論

「私は価格は関係なく、絶対に最も複雑な作業をする。」->GPT - 4o

「しかし、入力トークンのサイズは128Kを超える。」（GPT - 4oは128K以下のみ可能）->Opus

「高性能が必要だが、価格がもう少し安い、またはトークンのサイズが200Kを超える。」（Opusは200K以下のみ可能）->Gemini 1.5 Pro

私は最も安いLLMが必要だ。->Haiku

しかし、Input/Outputの比率でOutputが少し多かったり、200Kトークンを超える場合。->Gemini 1.5 Flash