Ученые из МФТИ выяснили, сколько данных нужно для ИИ

Ученые из МФТИ предложили два новых метода для определения достаточного количества данных для обучения ИИ.
Методы основаны на анализе функции правдоподобия с использованием техники бутстрэпа.
Один из методов - D-достаточность, проверяет стабильность результатов при использовании разных подмножеств данных одного размера.
Второй метод - M-достаточность, проверяет, перестала ли модель существенно улучшаться при добавлении еще одного объекта данных.
Оба подхода используют бутстрэп для получения надежных оценок стабильности или улучшения.
Предложенный подход является универсальным, так как он не привязан к конкретным статистическим гипотезам и может быть применен к широкому кругу моделей.
Методы могут найти применение в медицине, финансах, социологии, маркетинге, промышленности, биоинформатике и разработке систем искусственного интеллекта.