Gestion de la mémoire à long terme pour les LLM

L’approche MemFit : Un système de mémoire append-only

Une nouvelle approche, baptisée MemFit, est proposée par l’équipe cs.AI. Ce système de mémoire à long terme pour les agents conversationnels vise à réduire le coût et la latence des opérations de mémoire. Contrairement aux systèmes existants qui s’appuient sur des appels coûteux à un LLM pour la construction de la mémoire ou qui suppriment les détails de surface via une compression, MemFit enregistre chaque tour verbatim dans un stockage append-only avec une insertion quasi instantanée, indexant les tours grâce à des résumés de segments plutôt que de les remplacer. Le système utilise également une stratégie de récupération sans LLM multi-chemins qui combine les signaux lexicaux et sémantiques avec un classement croisé sur des épisodes augmentés par des légendes dans les contextes textuels et multimodaux. Des tests sur LoCoMo, MemGallery et LongMemEval-S démontrent que MemFit atteint des performances de pointe…

La prévention de la contamination mémoire : Le concept MemGuard

Un autre travail se concentre sur le problème de la contamination mémoire, un phénomène où des informations contextuelles stables, des événements épisodiques ou des règles comportementales sont absorbées dans un espace partagé, menant à une utilisation interchangeable de mémoires fonctionnellement distinctes en tant que preuves. Cette défaillance est qualifiée de « contamination hétérogène », où des événements contextuels spécifiques deviennent des affirmations généralisées ou où des mémoires sémantiquement pertinentes mais incompatibles avec les fonctions induisent des erreurs dans la génération. L’équipe cs.AI propose MemGuard, un cadre de mémoire type-conscient qui préserve les frontières fonctionnelles de la mémoire pendant la construction et la récupération. Il attribue à chaque mémoire un rôle fonctionnel explicite au moment de l’écriture, maintient des relations entre les mémoires isolées par type et compose des preuves uniquement à partir des types de mémoire nécessaires, réduisant ainsi la contamination…

Mem++ : Une approche non destructive pour les agents organisationnels

Une troisième solution, nommée Mem++, est proposée pour répondre aux besoins spécifiques des LLM agents participant à des activités organisationnelles. Dans ce contexte, les décisions sont enregistrées dans de nouveaux documents plutôt que d’être modifiées en place, rendant la réponse à une question plus complexe : il faut savoir quelle version était en vigueur au moment de la question. Les systèmes de mémoire existants compressent souvent ces enregistrements au moment de l’écriture, fixant ainsi les informations qui peuvent être consultées avant même qu’une question ne soit posée. Mem++ propose un cadre de mémoire non destructif qui déplace le focus de la distillation au moment de l’écriture vers la sélection à la lecture. Le système conserve chaque document entier avec sa date et son auteur, sans appeler aucun modèle génératif au moment de l’écriture. À la lecture, il récupère uniquement les documents datant jusqu’à la période concernée par la question et fusionne des classements lexicaux et sémantiques. Contrairement aux systèmes qui remplacent les versions plus anciennes, Mem++ les conserve et laisse le choix à l’agent LLM pour répondre…

Ce qu’il faut retenir

• Les systèmes de mémoire à long terme pour les LLM sont en cours d’évolution, cherchant à surmonter les limitations des approches existantes basées sur des agents LLM.
• L’approche MemFit se distingue par son architecture append-only et sa stratégie de récupération sans LLM, optimisant ainsi l’efficacité et la latence des opérations de mémoire.
• Le concept MemGuard vise à prévenir la contamination mémoire en assignant des rôles fonctionnels aux mémoires et en limitant la fusion d’informations incompatibles.
• Mem++ est adapté aux applications organisationnelles où les décisions sont enregistrées dans de nouveaux documents, nécessitant une gestion précise des versions.