Un des points communs entre toutes les entreprises c’est le besoin de structuration de la documentation interne.
La quantité de données générée et traitée par une entreprise est énorme et énormément d’informations se perdent dans la nature.
D’où l’importance pour l’entreprise d’optimiser l’accès à la données interne au sein de l’entreprise.
L’IA peut aider : la notion de RAG
Les RAG : Retrieval Augmented Generation, sont des techniques qui permettent au LLM de baser leurs réponses sur des bases de connaissances externes, au delà de la simple base d’entraînement du modèle.
Le framework de référence qui permet de mettre en place ce genre de pipeline de RAG est Langchain. Il permet de gérer tous le processus de la création de la base de connaissance à la restitution des réponses, en passant par la compression du contexte.
Le phénomène d’hallucination
D’abord, il faut avoir en tête que les LLM sont initialement conçus comme des modèles mathématiques dont le rôle est de prédire le mot suivant. Ils doivent proposer une séquence de mots qui parait juste et qui se rapproche de ce qu’un humain aurait pu dire.
A aucun moment du processus on ne prend en compte la véracité de l’information transmise à l’utilisateur. Il est donc assez courant qu’un modèle de LLM donne une réponse fausse avec assurance, ce phénomène est ce que l’on appelle « l’hallucination ».
Malgré les améliorations récentes liées à l’hallucination dans les dernières versions de LLM comme GPT-4, ce phénomène est encore présent. Et il peut affecter votre pipeline dans le cas où le contexte extrait de votre base de connaissance serait trop vague. Le LLM peut être tenté de compléter la réponse en inventant des informations.
La première étape pour la résolution de ce problème consiste à mettre en place des métriques de performances basées sur du feedback humain, via des notes par exemple. N’hésitez pas à essayer plusieurs LLM et les mettre en compétition sur ce point là.