Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

Ученые часто вдохновляются биологическими структурами для создания моделей в различных областях.
RAG (Retrieval-Augmented Generation) - способ контроля долговременной памяти для LLM.
RAG использует три участка мозга: неокортекс, парагиппокампальные области и гиппокамп.
Неокортекс извлекает высокоуровневые признаки, гиппокамп индексирует их, а затем использует контекстно-зависимую систему памяти для поиска релевантных воспоминаний.
HippoRAG - архитектура с ML компонентами для каждого из трех участков мозга, включая LLM для неокортекса, энкодеры для парагиппокампальных областей и граф знаний и PageRank для гиппокампа.
HippoRAG использует триплеты для разделения паттернов и Retrieval Encoders для создания дополнительных ребер между близкими по смыслу сущностями.
В онлайн-решении используются схожие процессы, включая извлечение триплетов из запроса и поиск релевантных узлов в графе знаний с помощью алгоритма Personalized PageRank.
HippoRAG показывает лучшие результаты на задачах multi-hop reasoning по сравнению с другими Retrieval системами.