01Coût par résultat, pas par jeton
Les jetons sont une entrée ; le chiffre qui compte est le coût par conversation résolue ou par document traité. Ce chiffre inclut les relances, les tentatives échouées et les minutes humaines passées à nettoyer.
Une fois mesuré par résultat, les comparaisons deviennent honnêtes : un modèle plus cher qui divise par deux les escalades est généralement moins cher au global.
02Le contexte est le budget silencieux
Injecter toute la base de connaissances dans chaque requête paraît prudent et multiplie discrètement la facture. Recherchez de façon ciblée, résumez les longs historiques et mettez en cache ce qui se répète.
Routez selon la difficulté. La plupart des requêtes sont assez simples pour un modèle plus petit ; réservez le modèle coûteux aux cas qui en ont réellement besoin.
03Des garde-fous sur les dépenses, pas seulement sur le contenu
Des plafonds par client et par jour, des alertes sur les anomalies et une coupure stricte évitent qu'une mauvaise boucle ne produise une mauvaise surprise à cinq chiffres.
Journalisez le coût par requête dès le premier jour. L'ajouter plus tard vous empêche d'expliquer une tendance déjà installée.