Сочетание следующего токена и видеодиффузии в компьютерном зрении и робототехнике

• Новый метод обучения нейросети сортировать повреждённые данные и предсказывать следующие шаги.
• Метод может использоваться для планирования действий роботов, генерации качественного видео и ориентации ИИ-агентов в цифровых средах.
• Исследователи из MIT предложили метод «Diffusion Forcing», объединяющий преимущества моделей диффузии и техники «teacher forcing».
• Метод позволяет улучшить гибкость планирования в робототехнике и качество генерации мультимедийных данных.
• Diffusion Forcing успешно справляется с обработкой зашумленных данных и предсказывает следующие шаги в задаче.
• Метод может использоваться для обучения роботов выполнять задачи в новых, незнакомых средах без необходимости в человеческой демонстрации.
• Исследователи работают над расширением метода, используя более крупные наборы данных и новейшие трансформерные модели для повышения эффективности.