• CognitiveOS - модульная операционная система для интеграции LLM в роботов.
• LLM, такие как GPT, Claude и Gemini, используются для восприятия окружающей среды и решения задач.
• CognitiveOS позволяет интегрировать новые способности через модули без необходимости переписывать систему.
• Архитектура CognitiveOS включает модули для размышления, принятия решений, выполнения физических действий и долгосрочной памяти.
• Модуль размышления и принятия решений содержит VLM для распознавания и описания объектов и сцен.
• Модуль долгосрочной памяти запоминает важную информацию контекста физического мира и поведенческих паттернов.
• Модуль подготовки этических рекомендаций содержит правила для соблюдения этики действий роботов.
• Тесты CognitiveOS проводились на стационарных роботах-манипуляторах и четвероногих роботах с захватом и без.
• CognitiveOS оказалась лучше эталонных систем в категориях Reasoning, Human Recognition и Symbol Understanding.
• В категории Reasoning CognitiveOS обошла CognitiveDog и RT2 на 15% и 31% соответственно.