• Новый метод QK-score разработан для проверки логических способностей больших языковых моделей (LLM).
• QK-score позволяет определить, следует ли модель законам логики на каждом шаге рассуждений.
• Метод основан на анализе внутреннего механизма внимания LLM.
• QK-score показывает высокую точность в оценке логических выводов и устойчив к отвлекающим факторам.
• Метод QK-score может быть использован для улучшения работы языковых моделей и повышения их интерпретируемости.
• Результаты исследования улучшают понимание обработки абстрактной информации и выводов трансформерами.
• QK-score может быть применен для создания систем рассуждений нового поколения в юриспруденции, медицине и научных исследованиях.

На практике этот метод может быть использован для создания систем рассуждений нового поколения, способных не только генерировать ответы, но и оценивать степень своей уверенности в них. Это особенно важно для таких областей, как юриспруденция, медицина и научные исследования, где цена ошибки, вызванной «галлюцинацией» нейросети, может быть чрезвычайно высока.