Expliquer que les LLM sont aujourd’hui chers n’a aucun sens. Les facteurs qui peuvent influer à la hausse ou à la baisse le prix des tokens sont nombreux : les progrès technologiques, la concurrence, la localisation et la réglementation, le financement par le capital risque ou la dette, les gains de productivité…. Pour éviter les mauvaises surprises, comme lors du rachat VMware par Broadcom, les décideurs IA et les entreprises doivent avoir une vision d’ensemble. C’est un peu le retour de ”l’économie politique” dans un secteur de la tech qui était resté pour l’instant à l’abris de ce type d’analyse ! Mais aussi la fin du mythe de la puissance de calcul à coût décroissant !
1 – Pourquoi le modèle de facturation de l’IA est-il encore moins prévisible que celui du SaaS ?
Yaniv Adjedj – Lamalo – Le SaaS a des coûts généralement qui sont fixes avec des métriques stables (infrastructure, bases de données, stockage, électricité, salariat, coût de structure…) avec des business models qui peuvent en découler, généralement des licences ou des sièges.
La facturation de l’IA est encore en devenir avec des coûts qu’il s’agit de maitriser (voir mon article de blog sur le sujet : https://reboot-conseil.com/blog/la-strategie-ia-par-les-couts). Pour simplifier, soit l’organisation passe par des licences avec des fournisseurs d’IA avec les limites imposées par ces fournisseurs avec une économie autour du token soit l’organisation se fournit ses propres GPU, installent ses propres IA open source privées et patient uniquement le coût du matériel, la colocation dans un datacenter et l’électricité. Dans le premier cas, l’organisation est en dépendance des évolutions des coûts du fournisseur, dans le second cas, la maitrise est totale avec une limitation dûe à l’infrastructure.
Avec des leaders de l’IA comme Anthropic ou OpenAI qui sont en déficit financièrement, l’économie du token est loin d’être stable, il est indéniable que ces acteurs vont augmenter leur coût, la question n’est donc pas si mais quand. C’est donc une économie en devenir.
Nous ne sommes pas non plus à l’abri de bonnes surprises avec des évolutions technologiques qui peuvent permettre d’utiliser moins de tokens comme nous avons le cas récemment avec la sortie de JEV qui consomme ou en sortant certaines parties probabilistes de la GenAI qui sont coûteuses en token pour les passer sur du déterminisme qui ne coûte pas.
NB sur JEV :
- Le problème : Dans les LLM classiques, les tokens de sortie sont à la fois les plus chers (souvent 3 à 4 fois le prix de l’entrée) et les plus imprévisibles, car la verbosité du modèle peut varier fortement d’une requête à l’autre.
- L’approche de Jev : TypeSafe AI a adopté une tarification à 0,042 $ par million de tokens d’entrée, avec des sorties gratuites. Comme Jev ne génère pas de prose mais renvoie des formats stricts (sélection dans une liste, score, probabilité booléenne), la charge de calcul en sortie est bornée et n’est pas facturée à la volumétrie.
– Comment les intermédiaires peuvent agir sur la transparence des tarifs par rapport à une approche directe des DSI ?
Yaniv Adjedj – Lamalo – Peu importe la stratégie de coûts choisie, que ce soit en passant par un ou plusieurs fournisseurs d’IA ou par l’installation complète en autonomie de son parc IA, dans les deux cas, il est possible de tout mesurer du token à l’électricité.Si je prends notre exemple avec notre plateforme Lamalo AI, absolument tout est mesurable et mesuré et nous permet d’être totalement transparent avec des indicateurs qui sont traçables.L’avantage de l’intermédiaire est qu’il peut agir pour optimiser sa consommation de tokens, sélectionner les modèles en fonction de la pertinence des tâches, agentiser et paralléliser quand c’est nécessaire… C’est ce qu’on appelle le context engineering. Quand on est un leader de l’IA, l’optimisation n’est pas ce qui est prioritaire mais quand on est un intermédiaire et que cela touche directement les coûts, c’est une nécessité absolue que d’administrer ce sujet.
Les prix des tokens sont-ils calculés avec des taux de marge explicables comme n’importe quelle industrie ? Oui, c’est possible.
Yaniv Adjedj – Lamalo – C’est même un parti pris chez nous pour la consommation de notre Engine où avec une clé API, l’utilisateur accède à tous nos modèles et outils de notre plateforme où tout est transparent et nous facturons ce que cela nous coûte avec une marge explicite de 5% HT. Plus notre Engine est utilisé, plus il y a de tokens consommés, plus nous pouvons négocier avec les providers les coûts, pour autant, notre taux de marge reste le même. C’est du win-win.
Si les fournisseurs continuent de monter les prix, c’est réplicable. Faire un modèle avec des licences fixes, à moins d’avoir des prix fixes sur une période avec les fournisseurs d’IA en négociant à plusieurs centaines de milliers d’euros, c’est illusoire à ce stade. Peut-être qu’avec la révolution du quantique ou une autre révolution, tout peut changer. C’est aussi la magie de ce sujet.