Ученые МФТИ создали алгоритм, позволяющий роботам эффективно и экономно анализировать видео

Ученые МФТИ разработали алгоритм для анализа видео с помощью больших языковых моделей.
Технология позволяет экономить вычислительные ресурсы и может использоваться для анализа окружающей обстановки роботами.
Алгоритм преобразует видеоряд в граф событий с объектами и взаимосвязями между ними.
Метод успешно протестирован на роботе Husky, который выполнял задачи на русском языке.
Система справляется с задачами даже при наличии шумов и неточностей.
Эффективность метода проверена на базах данных для сравнения разных систем ИИ.
Ограничения связаны с разметкой, используемой для обучения языковой модели.
Для преодоления ограничений требуется больше ресурсов и данных для обучения модели.