В своём блоге Nvidia рассказала про ИИ-систему Eureka, которая обучает роботов выполнять сложные физические действия. Eureka помогает автоматизировать разработку алгоритмов обучения с подкреплением.
Eureka использует GPT-4 и генеративные модели для написания кода. Она принимает комментарии от человека и редактирует алгоритм. При этом система хорошо понимает естественный язык, и ей необязательно сообщать точные параметры, которые надо исправить. Для более эффективного обучения Eureka может анализировать большие выборки кандидатов на вознаграждение, выбирая из них лучших.
После этого система составляет сводную статистику из результатов обучения, анализируя эффективность. На основе этих данных формируются новые параметры обучения и вознаграждения. Таким образом одна нейросеть обучает другую, получая указания от разработчика.
Eureka уже испытали на моделях четвероногих роботов, двуногих, роботизированных рук и других. Также в исследовании опубликованы результаты обучения манипулятора открывать выдвижной ящик, а двуногого робота бегать. Все эксперименты проводились в среде Nvidia Isaac Gym.
Согласно результатам исследования, алгоритмы Eureka в 80% случаев превосходят программы, разработанные экспертами в области. Благодаря этому удалось повысить общую производительность более чем на 50%.
Посмотреть результаты работы можно https://youtu.be/sDFAWnrCqKc