Microsoft показала, как любую открытую ИИ-модель можно легко превратить в троян

Microsoft показала метод Lazarus для внедрения скрытого бэкдора в ИИ-модели.
Метод не требует переобучения модели или изменения программного кода.
Модель продолжает выполнять обычные задачи, но при появлении триггера может выдать вредоносную команду.
Угроза актуальна для ИИ-агентов, взаимодействующих с инструментами и терминалами.
Метод основан на перепрограммировании спящих нейронов, которые активируются только при определенных условиях.
Исследователи проверили метод на трех моделях с открытыми весами.
Успешность активации бэкдора составила от 51% до 99,5% в зависимости от модели и параметров метода.
Microsoft пока не обнаружила случаев применения этой техники злоумышленниками.
Угроза касается не только моделей с открытыми весами, но и внутренних моделей компаний.
Обнаружить изменения при обычном тестировании сложно, поэтому проверять веса моделей необходимо тщательно.
Microsoft предлагает несколько способов снижения рисков, включая проверку происхождения моделей, сравнение весов с исходными версиями и ограничение прав доступа ИИ-агентов.