Журнал «XX2 век» поместил перевод интервью Йошуа Бенжио (Yoshua Bengio) — одного из трех создателей современного глубокого обучения (наряду с Джеффри Хинтоном и Яном Лекуном).
Бенжио, профессору Монреальского университета, ставят в заслугу существенный прорыв в деле использования нейронных сетей и, в неменьшей степени, упорство, проявленное им в работе над их созданием во время «долгой зимы» ИИ, длившейся с конца 80-х до конца 90-х годов ХХ века. В то время большинство людей считало нейронные сети тупиком.
Основные моменты из его интервью:
Нынешний уровень глубокого обучения
Мы пытаемся найти границы имеющихся у нас теорий и методов, чтобы расширить возможности наших интеллектуальных инструментов. Исследуя глубокое обучение, мы ищем места, где оно работает не так, как нам хотелось бы, и в результате нам удаётся выяснить, что нужно добавить и что нужно исследовать. То, чем занимаются исследователи, вроде меня, — это расширение сферы возможностей. Когда я говорю, к примеру, о том, что системам ИИ необходимо понимать причинные связи, я не имею в виду, будто это понимание заменит глубокое обучение. Я пытаюсь добавить что-то в панель инструментов.
За последние два десятилетия в данной сфере исследований мы не смогли приблизиться даже к уровню интеллекта двухлетнего ребёнка. Однако у нас уже имеются алгоритмы, эквивалентные тем, которые применяют низшие животные.
Проблема новейших систем, использующих глубокое обучение, состоит в том, что, хотя их тренируют на огромных массивах данных, они не очень-то понимают, чем занимаются. Некоторые говорят: «Это доказывает, что глубокое обучение не работает». А такие, как я, говорят: «Это интересно, давайте решать эту проблему».
Внимание позволяет сосредоточиться на том, что важно
Один из наиболее важных и бурно обсуждаемых ныне вопросов такой: из каких элементов складывается познание высокого уровня? Один элемент — причинность, а ещё — рассуждение, планирование, воображение и чувство долга. Разрабатывая классический ИИ, всё это пытались получить с помощью логики и символов. Я полагаю, что нам следует использовать инструменты, разработанные за последние несколько лет, чтобы создать перечисленные функциональные возможности способом, аналогичным тому, который при построении рассуждений используют люди. А это путь, в корне отличный от того, каким в подобных случаях идёт чисто логическая система, применяющая алгоритм поиска.
Нас интересует способность нейронных сетей воображать. Рассуждение, память и воображение — это три аспекта одной и той же деятельности, которую осуществляет наш разум. Во всей этой деятельности важнейший строительный блок — внимание. Умение выбирать подходящие элементы — вот что даёт внимание. Вам не нужно указывать нейронной сети, на что следует обращать внимание, и в этом её прелесть. Она учится этому самостоятельно. Нейронная сеть сама определяет, какое внимание следует уделить (или какой вес следует придать) каждому элементу из того набора, который предложено использовать.
Метаобучение, или обучение тому, как учиться
Систематическое обобщение — это способность человека обобщать известные ему понятия так, что они объединяются новыми, не применявшимися ранее способами. Сегодняшнему машинному обучению такое — неведомо. Вот почему часто возникают проблемы, связанные с обучением на конкретном наборе данных. Скажем, вы тренируете нейросеть в одной стране, а затем развёртываете её в другой. Вам нужны обобщение и трансферное обучение. Как настроить нейронную сеть, чтобы после размещения в новой среде она продолжала хорошо работать или смогла быстро адаптироваться?
Метаобучение, или обучение тому, как учиться, — тема, которая в наши дни является чрезвычайно актуальной. Для обобщения в новой среде нужна практика обобщения в новой среде. Это так просто, когда думаешь об этом. Дети занимаются этим постоянно. Когда они перемещаются из одного пространства в другое, среда не остаётся статичной, она меняется. Дети учатся хорошо адаптироваться. Чтобы адаптация была эффективной, они должны использовать знания, приобретённые в прошлом.
Глубокое обучение критикуют, в частности, за то, что для него требуется огромное количество данных. Это так, если вы просто тренируете сеть решать одну-единственную задачу. Однако дети способны учиться на основе очень малого количества данных. Они извлекают выгоду из того, что узнали раньше. Но важнее другое: они извлекают выгоду из своей способности адаптироваться и обобщать.
Усвоить модель устройства нашего мира
Есть такая идея — «заземлённое (grounded) изучение языка». С недавних пор она снова привлекла к себе внимание. Идея состоит в том, что система ИИ не должна учиться, используя одни лишь тексты. Эта система одновременно должна изучать, как функционирует наш мир и как описывать его словами. Задайте себе вопрос: смог бы ребёнок понять мир, взаимодействуя с ним только посредством текстов? Сдаётся мне, что ему пришлось бы худо. Двухлетние дети понимают интуитивную физику. Они не знают уравнений Ньютона, не умеют определять такие понятия, как гравитация, зато знают их конкретный смысл.
Проблема с языком заключается в том, что часто система, в сущности, не понимает сложность того, что означают слова. Нам нужны системы, понимающие не только язык, но и мир. В настоящее время исследователи ИИ подставляют ярлыки. Но одних ярлыков будет мало. Системам ИИ нужно усвоить модель устройства нашего мира.
Полный текст интервью в переводе:
«XX2 век», 24 декабря 2019, У Йошуа Бенжио, известного архитектора систем искусственного интеллекта, есть ряд идей о путях дальнейшего развития
Оригинал на английском:
IEEE Spectrum, 10 Dec 2019, Yoshua Bengio, Revered Architect of AI, Has Some Ideas About What to Build Next
Смотрите также доклад на конференции:
NeurIPS 2019, Thirty-third Conference on Neural Information Processing Systems, Dec 11th 2019, From System 1 Deep Learning to System 2 Deep Learning