• Команда NLP-исследователей из AIRI и Сбера провела исследование языковых моделей в химии.
• Интеграция методов NLP в химии открывает новые горизонты для поиска лекарств.
• AMORE - метод проверки устойчивости химических языковых моделей к изменениям в молекулярных структурах.
• AMORE использует аугментации молекул для тестирования моделей на устойчивость.
• Эксперименты проводились на наборах данных ChEBI-20 и Isomers.
• Языковые модели показали плохую устойчивость к простым аугментациям SMILES-строк.
• Модели часто полагаются на высокочастотные шаблоны из обучающих данных, а не на глубокое понимание химии.
• Корреляция между метриками на основе представлений и классическими метриками генерации текста подтверждает важность использования аугментаций для оценки качества химических моделей.