Googleは最近、Geminiの新しいモデルをリリースしました。

実際には正式版ではなく、実験版（Experimental）です。

これらのモデルは以下のとおりです。

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

まず、1.5 Pro Expと1.5 Flash Expは、既存バージョンからのアップデートと見なすことができます。実際にテストしてみると、1.5 Pro Expは、既存の1.5 Proと比較して、パフォーマンスがわずかに向上しています（ベンチマークパフォーマンスも向上しています。資料は持っていませんが、既存のリリースバージョンの中では最高レベルと言えるでしょう）。1.5 Flash Expも、もちろん最高ではありませんが、エントリーバージョンの中では最も優れたレベルにまで向上しています。

これらの2つのバージョンは、数週間以内に既存のバージョン1.5 Proと1.5 Flashに反映される予定です（以前は001バージョンだったので、002バージョンにアップデートされるでしょう）。

表を確認すると、Gemini 1.5 Pro Expバージョンが2位に、Gemini 1.5 Flash Expが6位にあります。

面白いのは、10位と11位にあるGemini 1.5 Proよりも1.5 Flash Expが上位にあるということです。

1位から5位までは、各社のフラッグシップバージョン（GPT 4o、Gemini 1.5 Pro、Grok 2）、6位と7位は、各社のエントリーライン（GPT 4o mini、Gemini 1.5 Flash）です。しばらくの間、Claude 3.5 Sonnetがトップにいましたが...この業界の発展速度は本当に...

ともかく、個人的には、これらの2つのバージョン（1.5 Pro、1.5 Flash）は、時間が経てばすぐに正式版になるでしょう。現在、興味を持っているのは、1.5 Flash 8bバージョンです。

まずは、ベンチマークを見てみましょう。

上記のベンチマークを見ると、1.5 Flash 8b Expのパフォーマンスは、おおよそ既存のClaude 3 Sonnetと同等で、既存の1.5 Flashよりもやや低いですが、Llama 3 70 bなどと同等の性能を発揮しています。

FlashはProの軽量版ですが、Flash 8bは、さらに軽量化されたバージョンであることが分かります（おそらくそうでしょう）。

まず、いくつか実際にテストしてみたところ、私たちのサービスでよく使われている文テストです。

• 翻訳する。
• 要約する。
• 文章を作成する。

他のテストは、他の場所でもたくさん行われているので、簡単にいくつかテストしてみました。複雑なJSON構造のテキストを翻訳した場合、Flashでは満足のいく結果が得られませんでしたが、Proラインアップでは確実に満足のいく結果が得られました。さらに、Pro Expバージョンでは、より洗練された結果が得られました。

要約、文章作成では、Flashはもちろん、Flash 8bでも満足のいく結果が得られました。高度な難しい作業でなければ、単純な作業はFlash 8bを活用できることがわかります。

パフォーマンスやパラメータを確認したところ、Googleでは、正式リリース時にはFlash 8bの価格をかなり低価格に設定するでしょう。

おそらく、既存の他社のラインアップに大きなダメージを与えるほどに設定するでしょうが、リリースされたら、また「再び」価格表を持って戻ってきます。