Подразделение Microsoft Research и Лаборатория робототехники Сбера разработали систему управления роботов, позволяющая взаимодействовать с объектами непостоянной формы. К областям применения такой системы относятся нефтедобыча, логистика и банковская сфера.
Разработанная уникальная ИИ-система дает возможность обучить роботов манипулировать физическими объектами непостоянной формы практически так, как это делает человек. Ключевой целью исследовательского проекта была разработка решения, способного взаимодействовать с людьми, освобождая их от механически сложной рутинной работы и обеспечивая высокий уровень безопасности. Кроме того, это один из первых примеров переноса подобной технологии из симуляции в реальный мир – обученная система была внедрена и протестирована в Лаборатории робототехники Сбера.
Видео с демонстрацией функционала робота: Coinbot — совместный исследовательский проект Лаборатории робототехники Сбер и Microsoft Research
Работа над проектом осуществлялась в Лаборатории робототехники Сбера в Москве, Россия, и в Microsoft в Беркли и Редмонде, США, и в совокупности длилась больше года, с мая 2019 года по май 2020. Исследовательская группа состояла из 8 человек. Их практической задачей было разработать технологию выгрузки с помощью робота-манипулятора инкассаторских мешков с монетами весом до 6 килограмм из мобильных тележек для их последующей обработки в счетных машинах. В отличие от захвата твердотельных объектов, манипуляции объектами непостоянной формы из-за подвижного центра тяжести требуют постоянного вычисления положения и ориентации захватного устройства в каждом отдельном случае. Для расчета и предсказания этих параметров были применены методы глубокого обучения и обучения с подкреплением. Испытания продемонстрировали успешность выгрузки мешков с первого раза в более 95% в реальных условиях.
Процесс работы над проектом проходил в три этапа. Первый – разработка реалистичной симуляции робототехнической установки и объектов манипуляции – деформируемых мешков с монетами с учетом их физических характеристик. Вторым этапом была интеграция симуляторов с фреймворком машинного обучения с подкреплением и проведение экспериментов в симуляционной среде с обучением интеллектуального агента управлению виртуальным роботом. Для этого исследователями был применен подход «machine teaching». Методика предполагает не только обучение посредством взаимодействия алгоритма со средой, как в классическом обучении с подкреплением, но и использование «подсказок» от человека. На этом этапе необходимо было прописать правильные опорные точки для алгоритма, на основе которых он сможет обучаться. Это позволяет значительно ускорить процесс и сделать его более эффективным. На завершающем третьем этапе обученного в симуляторах интеллектуального агента перенесли непосредственно на физического робота. В результате в Лаборатории робототехники Сбера были успешно протестированы реальные манипуляции по разгрузке тележки с мешками монет роботом.
Создатели системы уверены, что подобная технология может быть востребована в широком ряде сфер. Особенно целесообразно ее применение для решения тех задач, где человек подвергается опасности или должен прилагать чрезвычайные физические усилия, например, в спасательных операциях, нефтедобыче, логистике и т.д. – везде, где необходимо совершать действия с объектами непостоянной формы.
По заявлениям авторов этой системы, в России по состоянию на начало декабря 2020 г. у нее не существовало ни одного аналога. Что касается схожих систем, созданных за рубежом, то разработчики уверены, что решение задачи выгрузки тяжелых пластиковых мешков с грузом (весом до шести кг) из тележки с использованием глубокого обучения с подкреплением, является уникальным в масштабах всего мира. «За все время работы над проектом мы не смогли получить подтверждение, что в мире есть аналогичные разработки. Наиболее близкий аналог среди существующих работ – роботы работают с конвейерами и корзинами, перекладывают легкие пластиковые пакеты (почтовые конверты, упаковку с одеждой и др.) с помощью пневматических захватов, что является гораздо более простой задачей», – сообщили CNews представители Сбербанка.
Объемы финансовых вливаний в создание данной системы, компании на момент публикации материала не раскрывали. В Сбербанке рассказали CNews, что вложения в проект компании поделили между собой поровну – Сбербанк инвестировал в прикладную область, а Microsoft предоставил инфраструктуру и специалистов по облачным вычислениям.
«Обучение машин» — Machine Teaching Overview
Источники:
Microsoft, Пресс-Центр, 7 декабря 2020, Сбер и Microsoft разработали уникальную ИИ-систему управления роботами
CNews, 07.12.2020, Сбербанк и Microsoft создали робота, который таскает мешки с деньгами и может добывать нефть. Видео
arXiv.org, Submitted on 2 Dec 2020, Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching