«Хайтек» записал выступление Анимы Анандкумар, директора по исследованиям в области машинного обучения в NVIDIA, на онлайн-конференции Startup Village. Анима рассказала о том, как произошла революция в развитии глубинных нейросетей и какие перспективы их ожидают.
В частности, Анима Анандкумар рассказала о работе генеративных нейронных сетей:
«Как понять, что перед нами кошка? Мы узнаем кошку, даже если это размытая картинка, потому что наш мозг постоянно пытается размытому изображению придать определенную резкость для дальнейшего анализа. Есть много теорий, и одна из известнейших говорит, что мы не только смотрим на какой-то объект, но и одновременно мозг подбирает варианты того, чем он может быть. Этим же занимаются и глубинные нейронные сети. У нас есть априорные данные о том, как должна выглядеть кошка. И мы пытаемся сопоставлять эту картинку с представлением о том, как выглядят коты. Это важно понимать при разработке, чтобы было постоянство идентификации изображений.
Как нам прийти к стабильности в идентификации объектов искусственными сетями? Естественным образом это происходит из-за повторяемости. Мы берем какую-то внешнюю картинку и смотрим на нее, а сигнал поступает в мозг. Есть также и нисходящая обратная связь. Используя информацию о том, как выглядит кошка, мозг формирует определенное восприятие. Как сделать так, чтобы эти сложнейшие процессы нашего мозга реализовывались ИИ? Необходимо совместить хороший классификатор для понятия «кошка», который будут «скармливать» нейронной сети, с отличным генератором этих изображений. Одновременно будет происходить классификация понятия и обучение нейронной сети. Будет получена обратная связь для стандартных нейронных сетей. И эта связь даст возможность получать генеративную обратную связь. Другими словами, при попытке обработать входящий сигнал человек пытается маркировать изображение. И тогда возникает обратная связь, когда мы пытаемся сгенерировать восприятие на основе того, что видим. Эти два процесса должны быть взаимосвязаны.
Стандартная нейросеть, как правило, не может распознать нечеткие картинки, но наша модель благодаря механизму обратной связи делает образы более четкими и затем сможет их распознать. Мы видим, что такая схема доказала свою действенность, поэтому можем вдохновляться тем, как видит человек, при создании компьютерного зрения. На основе уже разработанных моделей можно создавать более совершенные алгоритмы, которые будут отличаться высокой производительностью.»
Говоря о перспективах, Анима Анандкумар отметила:
«Будущее ИИ должно быть всеобъемлющим и находить свое воплощение в разных сферах, чтобы у нас был высокоадаптивный, постоянно обучающийся инструмент. Для этого сейчас нужно переосмыслить подходы к глубокому обучению. Самостоятельное обучение является ключом к успеху, поэтому нужно находить способы встраивать программы неконтролируемого обучения в системы. И если говорить о сверточных нейросетях, система обратной связи делает их более устойчивым. А это первый шаг к тому, чтобы создать реальную базу для ИИ нового поколения.»
Анима Анандкумар — профессор в Калифорнийском технологическом институте и директор по исследованиям в области машинного обучения в NVIDIA. Ранее была главным научным сотрудником Amazon Web Services. Увлечена разработкой алгоритмов ИИ и их применением в междисциплинарных приложениях. Ее исследования сосредоточены на неконтролируемом искусственном интеллекте, оптимизации и тензорных методах.
Источник: «Хайтек», 11 августа 2020, Анима Анандкумар, NVIDIA — о технологиях обучения ИИ, его адаптивности и проблемах