В американском Toyota Research Institute (TRI) экспериментируют с роботом, загружающим посуду в посудомоечную машину, совмещая испытания с тренировками робота в виртуальной реальности. Цель — разработка алгоритмов, которые смогут применяться и в других приложениях при работе в неструктурированной среде.
Расс Тедрейк (Russ Tedrake), вице-президент TRI по исследованиям в области робототехники, рассказывает:
Разве не было бы удивительно, если бы в вашем доме был робот, который мог бы работать с вами, чтобы разложить продукты, сложить белье, приготовить обед, помыть посуду и привести дом в порядок перед приходом гостей? Для некоторых из нас робот-помощник может быть в первую очередь удобством. Но для других, в том числе для растущего числа людей пожилого возраста, такие роботы могут иметь решающее значение при выборе проживания дома или в социальном учреждении.
Десятилетиями подряд прогнозы на будущее — в основном благодаря научно-фантастическим романам — внушают нам, что когда-нибудь появятся домашние роботы. Компании годами пытались воплотить в жизнь такие прогнозы и безопасно встроить роботов в неструктурированную домашнюю среду.
Несмотря на наш век огромного технического прогресса, роботы, которых мы видим в домах на сегодняшний день, — это, прежде всего, пылесосы и игрушки. Большинство людей не понимают, насколько далеки лучшие роботы сегодняшнего дня от способности выполнять основные домашние задачи. Когда люди видят использование роботов-манипуляторов на заводах или впечатляющие видеоролики на YouTube о способностях роботов, они могут думать, что роботов уже можно использовать дома.
Почему же домашние роботы не появились так быстро, как некоторые ожидали?
Одна большая проблема — это надежность. Вот задумайтесь:
- Если у вас есть робот, который загружает посуду в посудомоечную машину, и что если он будет разбивать посуду раз в неделю?
- Или, что если ваш ребенок принесет домой кружку, которую он раскрасил в местной художественной студии, и после обеда робот выбросит эту кружку в мусорное ведро, потому что он не распознал ее как настоящую кружку?
Основным препятствием применения роботов в доме являются базовые проблемы в манипулировании (роботов), которые мешают надежности. Исследовательский институт Toyota (TRI) работает над этими проблемами в манипулировании. Мы стремимся к комбинации возможностей робототехники, ориентированных на решение задач правильного манипулирования (dexterous) в неструктурированной среде.
В отличие от стерильной, контролируемой и программируемой среды фабрики, дом представляет собой «дикий запад» — неструктурированный и разнообразный. Мы не можем ожидать, что лабораторные тесты будут учитывать каждый отдельный объект, который робот увидит в вашем доме. Эту проблему иногда называют «манипулированием открытым миром», как аналогом к «открытого мира» («open-world») компьютерных игр. Несмотря на недавние успехи в области искусственного интеллекта и машинного обучения, все еще очень трудно разработать систему, которая может справиться со сложностью домашней среды и гарантировать, что она будет (почти) всегда работать правильно.
На демонстрационном видео показано, как мы исследуем проблему надежности. В качестве примера мы используем робот, загружающий посуду в посудомоечную машину. Мы не стремимся создавать робота, который загружает посудомоечную машину, а скорее использовуем эту задачу как средство для разработки инструментов и алгоритмов, которые, в свою очередь, могут применяться во многих других приложениях. Мы фокусируемся не на оборудовании, поэтому в этой демонстрации мы используем стандартную заводскую руку-робот, а не конструируем такую, которая бы больше подходила для домашней кухни.
Робот в нашей демонстрации использует стереокамеры, установленные вокруг раковины, и алгоритмы глубокого обучения, чтобы воспринимать объекты в раковине. Сегодня существует множество роботов, которые могут подцепить практически любой объект — выделение произвольного объекта (random object clutter clearing) стала стандартным испытанием в робототехнике. При выделении для робота не требуется больших знаний об объекте — достаточно понимания базовой геометрии. Например, алгоритму не нужно распознавать, является ли объект плюшевой игрушкой, зубной щеткой или кофейной кружкой. Учитывая это, эти системы также относительно ограничены в том, что они могут делать с этими объектами: по большей части они могут только подбирать объекты и сбрасывать их в другом месте. В мире робототехники мы иногда называем таких роботов «выбери и брось» («pick and drop»).
Загрузка посудомоечной машины на самом деле значительно сложнее, чем то, может делать большинство роботов в настоящее время, и требует значительно большего понимания объектов. Робот должен не только распознавать кружку, тарелку или «беспорядок», но и понимать форму, положение и ориентацию каждого предмета, чтобы точно разместить его в посудомоечной машине. Текущая работа TRI показывает не только то, что это возможно, но и то, что это может быть сделано с надежностью, которая позволяет роботу непрерывно работать в течение нескольких часов без сбоев.
У нашего робота-манипулятора относительно простая рука — двухпалый захват. Рука может делать относительно простые захваты на кружке, но ее способность поднять тарелку более тонкая. Тарелки большие и могут быть уложены друг на друга, поэтому нам необходимо выполнить сложный маневр «с большим количеством контактов» («contact-rich»), который скользит одним пальцем захвата под и между тарелками, чтобы прочно удерживать их. Это простой пример ловкости, которой легко достичь людям, но которую мы редко видим в надежных робототехнических приложениях.
Серебряные столовые приборы также могут представлять сложность — они маленькие и блестящие, что затрудняет их распознавание с помощью машинного обучения. Кроме того, учитывая, что рука робота является относительно большой по сравнению с раковиной, роботу иногда нужно остановиться и подтолкнуть столовое серебро к центру раковины, чтобы сделать захват. Наша система также может определить, что предмет не является кружкой, тарелкой или столовым прибором, пометить его как «беспорядок» и переместить в мусорное ведро.
Соединение всех этих частей — это сложный планировщик задач, который постоянно решает, какую задачу должен выполнить робот. Планировщик решает, должен ли он выдвинуть нижний ящик посудомоечной машины для загрузки тарелок, выдвинуть средний ящик для кружек или выдвинуть верхний ящик для столовых приборов. Как и другие компоненты, мы сделали его гибким — если ящик внезапно закроется, когда его нужно было открыть, робот остановится, положит предмет на столешницу и вытянет ящик обратно, чтобы попытаться снова. Эта реакция показывает, насколько такой робот отличается от типичного прецизионного, повторяющего движения заводского робота, который обычно изолирован от контакта с человеком и случайной окружающей среды.
Краеугольным камнем подхода TRI является использование симуляции. Симуляция дает нам способ проектирования и тестирования сложных систем с невероятным разнообразием задач. Она позволяет оценить, какую производительность будет иметь робот в вашем доме с вашими кружками, даже если мы не могли проводить тесты на вашей кухне во время разработки. Захватывающим достижением является то, что мы добились больших успехов в том, чтобы сделать симуляцию достаточно надежной, чтобы справиться с визуальной и механической сложностью задачи загрузки посудомоечной машины и сократить разрыв между симуляцией и реальностью. Теперь мы можем разрабатывать и тестировать в симуляции и уверены, что результаты окажутся подходящими для реального робота. В конце концов, мы достигли точки, когда мы занимаемся почти всеми разработками в виртуальной реальности, что традиционно не относится к исследованиям роботизированных манипуляций.
Мы можем запустить гораздо больше тестов и более разнообразных тестов в симуляции. Мы постоянно генерируем случайные сценарии, которые проверяют отдельные компоненты загрузки посуды, а также общую производительность.
Вот простой пример того, как это работает.
Рассмотрим задачу извлечения одной кружки из раковины. Мы генерируем сценарии, в которых мы помещаем кружку во все виды случайных конфигураций, проверяя, чтобы найти «крайние случаи» («corner cases») — редкие ситуации, когда наши алгоритмы восприятия или алгоритмы восприятия могут потерпеть неудачу. Мы можем варьировать свойства материала и условия освещения. У нас даже есть алгоритмы для генерации случайных, но разумных форм кружки, от маленькой чашки для эспрессо до толстой цилиндрической кофейной кружки.
Мы проводим симуляционное тестирование в течение ночи, и каждое утро мы получаем отчет, в котором сообщается о новых случаях отказов, которые нам необходимо устранить. Вначале эти ошибки были относительно легко найти и легко исправить. Иногда они являются ошибками в симуляторе — в симуляторе произошло что-то, чего не могло бы случиться в реальном мире, — а иногда это проблемы в нашем восприятии или алгоритмах восприятия. Мы должны исправить все эти ошибки.
По мере того, как мы продолжаем идти по этому пути к надежности, отказы становятся все более редкими и более изощренными. Алгоритмы, которые мы используем для поиска этих ошибок, также должны стать более продвинутыми. Пространство поиска настолько велико, а производительность системы зависит от стольких параметров, что эффективный поиск крайних случаев становится нашей основной исследовательской задачей. Хотя мы исследуем эту проблему в кухонной раковине, основные идеи и алгоритмы имеют общую природу и применимы к связанным проблемам, таким как проверка технологий автоматического вождения.
Следующая часть нашей работы посвящена разработке алгоритмов для автоматического «восстановления» алгоритма или контроллера восприятия при обнаружении нового случая отказа. Поскольку мы используем симуляцию, мы можем протестировать наши изменения не только по этому недавно обнаруженному сценарию, но и убедиться, что наши изменения также работают для всех других сценариев, которые мы обнаружили в предыдущих тестах. Конечно, недостаточно исправить этот тест. Мы должны убедиться, что мы также не нарушаем все другие тесты, которые прошли ранее. Можно представить себе не столь отдаленное будущее, когда эта поправка может произойти прямо на вашей кухне, когда один робот не справляется с вашей кружкой правильно и все роботы по всему миру учатся на этой ошибке.
Мы стремимся к достижению ловкости и надежности в манипуляциях с открытым миром. Загрузка посудомоечной машины — это только один пример из серии экспериментов, которые мы будем использовать в TRI при решении этой задачи. Это долгий путь, но в конечном итоге благодаря ему в домашней обстановке появятся более совершенные роботы. Когда это произойдет, мы надеемся, что пожилые люди получат необходимую помощь, чтобы достойно жить дома, работая с роботом-помощником, который расширит их возможности и позволит дольше сохранять независимость.
Источник: Toyota Research Institute, News, June 27, 2019, TRI taking on the hard problems in manipulation research toward making human-assist robots reliable and robust