Логический компас для искусственного интеллекта

Ученые разработали новый метод QK-score для проверки логических способностей больших языковых моделей (LLM).
QK-score позволяет определить, следует ли модель законам логики на каждом шаге рассуждений.
Метод основан на анализе внутреннего механизма внимания LLM.
QK-score показывает высокую точность в оценке логических выводов и устойчив к попыткам запутать модель.
Результаты исследования могут улучшить понимание работы трансформеров и повысить надежность и безопасность ИИ.
QK-score может быть использован для создания систем рассуждений нового поколения в юриспруденции, медицине и научных исследованиях.
Научная группа планирует усовершенствовать метод для анализа узкоспециализированных логических задач и интеграции QK-score в процесс генерации текста.