注目すべき最近の巨大言語モデルリリースニュース

過去1週間、アップル、マイクロソフト、メタなどの主要なビッグテック企業が続々と新しい巨大言語モデルを公開し、AI業界に 大きな反響を呼んでいます。今回は、リリースされたモデルの主な特徴と意義を詳しく見ていきましょう。

アップルのOpenELM

4月25日、アップルは自社開発のOpenELM言語モデル製品群を発表しました。0.27B、0.45B、1.08B、3.04B など4種類の異なるサイズのモデルで構成されていますが、最大のモデルでもわずか30億のパラメータで、比較的規模が小さいです。現在 ほとんどの巨大言語モデルは、少なくとも30億以上のパラメータを持っていることを考えると、OpenELMは非常に小さいサイズと言える でしょう。
これは、アップルがOpenELMを主に小型デバイスに搭載して活用することを念頭に置いて開発したためです。以前は、パラメータ数を 増やすことが高性能達成の主要な方法でしたが、近年では小型化と軽量化に重点が置かれる傾向にあります。アップルは今回、モデルの重みと 推論コードだけでなく、データセットとフレームワークまで全体を公開することで、オープン性も高めました。

MSのPhi-3シリーズ

マイクロソフトも4月23日にPhi-3 Miniモデル（38億パラメータ）を先行公開し、今後70億サイズのPhi-3 Smallと140億サイズのPhi-3 Mediumもリリースする予定です。Phi-3 Miniはオープンモデルで、誰でも無料で商用利用が可能です。新しいPhi-3シリーズモデルはすべて、MSのクラウドサービスAzureで提供される予定です。

メタのLlama 3

メタ（旧フェイスブック）は、4月18日にLlama 3モデルの80億と700億バージョンを先行公開し、大型サイズの4000億モデルは 夏に公開する予定です。特に80億モデルは、小さいサイズながら優れた性能を示しており、開発者コミュニティから好評を得ています。
これは、メタが膨大な量の学習データ投入し、効率的なモデル構造を構築したためと分析されています。パラメータ数を増やす代わりに データとアルゴリズムの最適化に注力した結果と言えるでしょう。

xAIのGrok 1.5

3月38日に発表されたxAIのGrok 1.5モデルは、最大128Kの長いコンテキストトークンを処理できるため、複雑で長いプロンプティングが 可能です。これまでの言語モデル開発のトレンドが、単にパラメータサイズを大きくすることに重点が置かれていたのに対し、Grok 1.5は、長い文脈 理解力の向上という新たな方向性を提示しました。

⁠⁠⁠⁠⁠⁠⁠
このように、最近1週間でアップル、MS、メタなどの大手企業による新しい巨大言語モデルのリリースが続いたことで、AI技術の進化方向がさらに 多様化しています。モデルサイズの縮小と軽量化、データ/アルゴリズムの最適化、文脈理解力の強化など、さまざまな側面で新しい試みが 相次いでいます。今後のAIエコシステムがどのように進化していくのか注目されます。