• Производительность новых моделей ИИ достигла «плато» и дальнейший прогресс возможен только с новыми технологиями обучения.
• OpenAI столкнулись с проблемой ограниченного количества высококачественных текстовых данных для обучения крупных LLM.
• Обучение новых моделей требует больше вычислительных ресурсов и увеличивает затраты на разработку и эксплуатацию LLM.
• В будущем, финансовая целесообразность разработки более продвинутых моделей может быть под вопросом.
• Технический директор Microsoft Кевин Скотт считает, что «законы масштабирования» продолжают работать и стимулировать развитие ИИ.
• Профессор Массачусетского технологического института Дарон Аджемоглу утверждает, что влияние генеративного ИИ на бизнес ниже прогнозируемого уровня.
• Проблема недостатка новых качественных текстовых данных для обучения LLM может быть решена с помощью синтетических данных или улучшения логических способностей моделей.