Agenta

Agenta est une plateforme LLMOps open source conçue pour les ingénieurs en IA, les développeurs et les experts métier qui conçoivent des applications reposant sur de grands modèles de langage.

Plutôt que de se limiter à l’optimisation des prompts, Agenta propose un environnement complet permettant de gérer différentes étapes du cycle de vie des applications d’IA. La plateforme couvre notamment la création et l’amélioration des prompts, l’expérimentation, l’évaluation, le déploiement ainsi que l’observabilité en production.

Agenta facilite également la collaboration entre les profils techniques et non techniques. Les membres d’une équipe peuvent travailler sur les prompts et améliorer le comportement d’une application sans avoir à modifier directement son code.

Grâce à son playground intégré, les utilisateurs peuvent tester plusieurs variantes de prompts, comparer les réponses générées côte à côte, gérer différentes versions et déployer les améliorations retenues en production.

Cette approche permet notamment aux experts métier de participer directement à l’optimisation du comportement des modèles tandis que les développeurs conservent le contrôle sur le versionnement, l’intégration technique et les processus de déploiement.

Agenta intègre également des outils d’évaluation destinés à mesurer la qualité et la fiabilité des applications basées sur les LLM avant la mise en production de nouvelles modifications.

Les équipes peuvent créer des datasets d’évaluation, réaliser des évaluations automatisées ou humaines, comparer différentes versions de prompts et vérifier régulièrement les résultats à l’aide de critères et de métriques définis à l’avance.

Après le déploiement, les fonctionnalités d’observabilité permettent de collecter les traces d’exécution, surveiller le comportement des modèles, analyser la latence et les coûts ainsi qu’identifier les éventuelles sources d’erreurs grâce à des informations détaillées sur les exécutions.

Ces capacités facilitent le débogage des problèmes rencontrés en production et permettent aux équipes d’améliorer progressivement la qualité, la fiabilité et les performances de leurs applications d’intelligence artificielle.