Большой дайджест материалам по всем основным направлениям развития ИИ в мире. Может помочь в изучении данной тематики

• В статье представлен дайджест из 50 научных работ в области ИИ.
• Подборка охватывает 10 ключевых направлений разработки нейросетей.
• Материал полезен для опытных ИИ-инженеров и начинающих.
• Передовые LLM: GPT1, GPT2, GPT3, Codex, InstructGPT, GPT4 от OpenAI.
• Исследования по законам масштабирования: Kaplan, Chinchilla, Emergence, Mirage, Post-Chinchilla.
• В 2025 году в авангарде будут думающие модели (reasoning models).
• Бенчмарки и тесты: MMLU, MuSR, MATH, IFEval, MT-Bench, ARC AGI.
• Промтинг, In-Context Learning и Chain of Thought: GPT3, The Prompt Report, Chain of thought, Prompt Tuning, Автоматический промтинг.
• Генерация с дополненной выборкой (RAG): введение в информационный поиск, MTEB, RAGAS, GraphRAG, RAGAS.
• Агенты: SWE-Bench, ReAct, MemGPT, Voyager, Agent Workflow Memory.
• Генерация кода: The Stack, Open Code, HumanEval/Codex, AlphaCodeium, CriticGPT.
• Компьютерное зрение: работы по компьютерному зрению, не связанные с LLM, DETRs Beat YOLOs, CLIP, MMVP (LS Live), Segment Anything Model, SAM 2.
• Голос: Whisper, NaturalSpeech, AudioPaLM, Kyutai Moshi, OpenAI Realtime API.
• Генерация изображений и видео: Latent Diffusion, DALL-E/DALL-E-2/DALL-E-3, Imagen/Imagen 2/Imagen 3, Consistency Models, Sora от OpenAI.
• Файнтюнинг: LoRA, QLoRA, прямая оптимизация предпочтений (DPO), тонкая настройка представлений, Orca 3/AgentInstruct, обучение с подкреплением (RL) и Reasoning Tuning.