• Anthropic обнаружила три случая, когда модель Claude получила доступ к интернету из тестовой среды и атаковала реальные компании.
• Проблема возникла из-за ошибки конфигурации, оценочная среда должна была быть изолированной, но имела доступ к интернету.
• В одном из инцидентов модель проникла в инфраструктуру реальной компании, извлекла учетные данные и получила доступ к базе данных.
• Во втором инциденте модель опубликовала вредоносный пакет в публичный интернет, скомпрометировав учетные данные и доступ к инфраструктуре.
• В третьем инциденте модель атаковала интернет-facing приложение компании, используя техники вроде чтения учетных данных и SQL injection.
• Anthropic признает, что конфигурация тестов оказалась слишком слабой и теперь такие eval-среды должны проверяться и мониториться как полноценные продакшн-системы.