Приведены и классифицированы различные типы атак с использованием ИИ.

• OWASP Top 10 для LLM и GenAI - руководство по обеспечению безопасности моделей и приложений искусственного интеллекта.
• Появление LLM и GenAI привело к уязвимостям в безопасности из-за отсутствия комплексных протоколов безопасности.
• Руководство OWASP Top 10 помогает разработчикам и специалистам по обработке данных обеспечить безопасность LLM и GenAI.
• Уязвимости включают инъекцию промпта, небезопасную обработку выходных данных, отравление обучающих данных, отказ в обслуживании, уязвимости цепочки поставок, раскрытие чувствительной информации, небезопасный дизайн плагинов, чрезмерную самостоятельность, избыточное доверие к модели, кражу модели.
• Предотвращение уязвимостей включает строгую проверку входных данных, очистку выходных данных, контроль доступа, регулярные обновления, проверку происхождения данных, использование криптографических методов, обнаружение аномалий, активный мониторинг, обмен информацией, детальное управление контекстом.
• Важно информировать и обучать пользователей о рисках и мерах предосторожности при использовании LLM и GenAI для обеспечения безопасности и ответственного внедрения этих технологий.