Actualités Générales • Sortie de modèle

L'actualité

Le 12 septembre, OpenAI a présenté o1 Preview au monde. Alors qu'OpenAI revendique de grandes améliorations dans les benchmarks de science, de code et de mathématiques, quel est le véritable impact business de ce modèle ?

Nous l'avons expérimenté dans nos preuves de concept (POC) actuelles pour des clients ayant la possibilité d'utiliser des Large Language Models (LLMs) propriétaires. o1 se distingue effectivement dans les domaines où les modèles précédents peinaient, en particulier pour les tâches nécessitant de la réflexion et de la résolution de problèmes complexes. Le qualifier de véritable « game changer » serait prématuré car nous avons besoin de plus de recul sur le modèle lui-même, mais nous pensons qu'il aura un impact majeur sur la conception des systèmes agentiques.

o1 en lui-même

L'approche s'appuie sur des techniques établies, notamment le Chain of Thought (CoT), combinées à un entraînement spécialisé. Le CoT, introduit en 2022, encourage les modèles à réfléchir aux problèmes étape par étape, ce qui réduit les erreurs et les hallucinations.

Cependant, la sauce secrète d'OpenAI en fait bien plus qu'une simple implémentation du CoT, et lui confère des capacités que nous n'avions pas vues dans d'autres modèles. Un exemple d'hier montrait un chercheur recréant le code qu'il avait mis 10 mois à écrire durant sa première année de thèse... en 6 prompts.

Malgré ces atouts, le modèle est encore en preview, et des fonctionnalités clés comme le traitement de fichiers, l'appel de fonctions, le streaming et les system prompts ne sont pas encore disponibles. Cela limite son utilisation immédiate pour certains scénarios clients. Mais cela signifie aussi que la version preview n'est peut-être pas aussi performante que la version finale, et elle affiche déjà des performances vraiment solides.

À noter qu'OpenAI a choisi de masquer son Chain of Thought aux utilisateurs finaux, invoquant des raisons de sécurité et d'expérience utilisateur. Cependant, cette décision reflète probablement des considérations stratégiques alors qu'ils évoluent vers un environnement plus fermé et compétitif.

Que devriez-vous faire ?

D'abord, il n'y a pas d'urgence immédiate. Bien que nous ayons recommandé à nos clients disposant d'abonnements Azure de demander l'accès dès que possible, et aux clients API Tier 5 d'OpenAI de commencer à tester, les autres devront attendre que le modèle soit plus largement disponible.

Comme pour toute sortie majeure, le conseil reste simple : obtenez l'accès au modèle et testez-le dans vos pipelines de staging. Si vous recherchez des améliorations de performance, en particulier pour les tâches de raisonnement, o1 peut offrir des bénéfices significatifs. Cependant, si votre système actuel fonctionne bien, nous suggérons de conserver votre configuration existante et d'explorer la R&D dans d'autres domaines.

Les systèmes axés sur la vitesse ne bénéficieront pas beaucoup d'o1, car le CoT introduit une génération de tokens supplémentaire pour les étapes de réflexion intermédiaires, ajoutant de la latence au processus global. Les clients utilisant uniquement des LLMs locaux ne sont pas directement impactés, mais l'architecture d'o1 pourrait influencer la direction de certains projets open-source à moyen et long terme.

Le facteur coût

Actuellement, o1-preview est significativement plus cher que gpt-4o. Avec le modèle gpt-4o-2024-08-06 devenant la version par défaut le 2 octobre 2024, facturé à 2,50 $ par million de tokens en entrée et 10,00 $ par million de tokens en sortie, le coût d'o1-preview à 15,00 $ par million de tokens en entrée et 60,00 $ par million de tokens en sortie est une considération importante. La version o1-mini est plus abordable à 3,00 $ par million de tokens en entrée et 12,00 $ par million de tokens en sortie.

De plus, o1-preview et o1-mini ne proposent pas actuellement d'option de batching, empêchant de réduire les coûts pour les calculs non urgents. Mais le prix n'est qu'une question de nombre de tokens utilisés. Si votre système utilise moins de tokens grâce à o1, vous pourriez gagner en performance pour un surcoût minime, voire un coût moindre.

Note finale

Pour nous chez Bot Resources, o1 réaffirme l'importance de l'intelligence dans l'architecture des systèmes. Comme toujours, testez rigoureusement, évaluez avec soin, et assurez-vous que vos systèmes sont conçus pour délivrer le maximum de valeur pour les besoins de votre entreprise.