お知らせ・モデルリリース

ニュース

9月12日、OpenAIがo1 Previewを公開しました。科学、コーディング、数学のベンチマークで大幅な向上を謳っていますが、ビジネスにとって実際のインパクトはどの程度のものでしょうか。

クローズドなLLMを利用可能なクライアント向けのPoC（概念実証）において、実際にo1を検証しています。これまでのモデルが苦手としていた、特に深い思考や複雑な問題解決を要するタスクで、o1は際立った性能を発揮しています。完全な「ゲームチェンジャー」と断言するにはもう少し検証が必要ですが、エージェントシステムの設計に大きな影響を与えるモデルであることは間違いないでしょう。

o1そのものについて

o1のアプローチは、2022年に提唱されたChain of Thought（CoT）をはじめとする既存の技術に、専用のトレーニングを組み合わせたものです。CoTはモデルに段階的な思考を促すことで、エラーやハルシネーションを減らす手法です。

しかし、OpenAI独自の工夫により、単なるCoTの実装を超えた能力を獲得しています。つい昨日も、ある研究者が博士課程1年目に10か月かけて書いたコードを、わずか6回のプロンプトで再現した事例が報告されました。

とはいえ、o1はまだプレビュー段階であり、ファイル処理、ファンクションコール、ストリーミング、システムプロンプトといった主要機能が未対応です。特定のシナリオでは即座に活用しにくい側面があります。ただし、プレビュー版でこの性能ということは、正式版ではさらなる向上が期待できるとも言えます。

なお、OpenAIはChain of Thoughtの内容をエンドユーザーに非公開としており、セキュリティやユーザー体験を理由に挙げています。しかし実態としては、クローズド化・競争激化に向けた戦略的判断と見るのが妥当でしょう。

どう対応すべきか

まず、焦る必要はありません。Azureサブスクリプションをお持ちのクライアントには早めのアクセス申請を、OpenAIのTier 5 APIをお使いのクライアントにはテスト開始をお勧めしていますが、それ以外の方はモデルがより広く利用可能になるのをお待ちください。

メジャーリリース時の対応は常にシンプルです。モデルへのアクセスを確保し、ステージング環境のパイプラインでテストすること。特に推論タスクでの性能向上を求めている場合、o1は大きなメリットをもたらす可能性があります。一方、現行システムが問題なく稼働しているなら、無理に切り替える必要はなく、他の領域でのR&Dに注力するのも賢明です。

レスポンス速度を重視するシステムでは、o1の恩恵は限定的です。CoTは中間的な思考ステップでトークン生成が増えるため、レイテンシーが増加します。ローカルLLMのみを使用しているクライアントへの直接的な影響はありませんが、o1のアーキテクチャは中長期的にオープンソースプロジェクトの方向性に影響を与える可能性があります。

コストについて

現時点で、o1-previewはgpt-4oと比較してかなり高額です。2024年10月2日にデフォルトとなるgpt-4o-2024-08-06は、入力100万トークンあたり2.50ドル、出力100万トークンあたり10.00ドルです。一方、o1-previewは入力100万トークンあたり15.00ドル、出力100万トークンあたり60.00ドルと、大幅なコスト差があります。o1-miniは入力100万トークンあたり3.00ドル、出力100万トークンあたり12.00ドルと比較的手頃です。

さらに、o1-previewとo1-miniには現時点でバッチ処理オプションがなく、緊急性の低い計算でのコスト削減ができません。ただし、コストはトークン使用量次第です。o1によってシステム全体のトークン消費が減れば、高い性能をほぼ同等のコスト、あるいはより安価に実現できる可能性もあります。

まとめ

私たちBot Resourcesにとって、o1はシステムアーキテクチャにおける知能の重要性を改めて裏付けるものです。いつも通り、十分にテストし、慎重に評価し、ビジネスニーズに最大の価値をもたらすシステム設計を心がけてください。