Easy Scientific

マイクロソフトのphi-3-mini: 携帯電話向けの強力な言語モデル

Article Image

マイクロソフトは、非常に強力でありながら電話で動作するのに十分小型の新しい言語モデル「phi-3-mini」を作成しました。このモデルは、38億のパラメータを持ち、GPT-3.5のようなはるかに大きなモデルと同じくらいの性能を発揮します。その効率の秘密は、使用された特別なトレーニングデータにあります。彼らは、高度にフィルタリングされた公共のウェブデータと他のAIモデルによって生成された合成データの混合を使用しました。これにより、モデルは賢く、かつコンパクトになりました。

phi-3-miniモデルは、iPhone 14のような電話上で直接実行でき、インターネットを必要としません。迅速に応答を生成できるため、オフラインでの使用に便利なツールです。チームは、70億パラメータを持つphi-3-smallや、140億パラメータを持つphi-3-mediumなど、このモデルの大きなバージョンも開発し、テストでさらに良い性能を発揮しました。

テキストだけでなく、マイクロソフトは画像とテキストの両方を理解できるモデル「phi-3-vision」も紹介しました。このモデルは、画像を分析しテキストベースの応答を生成できるため、教育やコンテンツ作成などさまざまなアプリケーションに役立ちます。

安全性と堅牢性は、これらのモデルの重要な特徴です。マイクロソフトは、phi-3-miniが責任あるAIの原則に沿って使用されることを確認し、その安全性を確保しました。彼らは有害な応答を最小限に抑え、さまざまなタスクでの性能を改善するために、徹底的にテストしました。

要約すると、マイクロソフトのphi-3-miniは、モバイルデバイスで動作する小型ながら強力なAIモデルであり、賢く迅速な応答を提供します。その開発は、効率的で効果的なAIモデルを作成する際の高品質なトレーニングデータの重要性を示しています。

arXiv, 2024; doi: 10.48550/arXiv.2404.14219