• Знаки препинания и служебные части речи играют ключевую роль в обработке информации языковыми моделями.
• Их удаление из текста снижает точность ответов ИИ на запросы до 20%.
• Изучение принципов действия языковых моделей является одной из главных задач научной группы.
• Современные большие языковые модели разбивают тексты на токены для выделения наиболее важных блоков.
• Российские исследователи разработали LLM-микроскоп для визуализации и анализа внутреннего поведения языковых моделей.
• LLM-микроскоп позволяет изучать влияние малозначимых элементов запроса на работу ИИ, включая знаки препинания, артикли и служебные части речи.
• Знаки препинания и служебные части речи содержат больше информации о контексте, чем существительные.
• Удаление всех знаков препинания и служебных частей речи снижает точность ответов ИИ на тестовые задания до 20%.