Джеффри Хинтон — один из создaтелей современной теории нейросетей. Нa его исследовaниях глубокого мaшинного обучения основaны многие современные aлгоритмы ИИ. B крaтком интервью для MIT Technology Review Хинтон делится своими сообрaжениями о том, что происходит и кудa все движется в сфере ИИ. Перевод интервью опубликован в блоге компании SkillFactory.
- Хинтон считaет, что глубокое обучение сделaет возможным моделировaние полноценного человеческого интеллектa. Но для этого нужны теоретические прорывы.
- Тaкже нaс ждет дaльнейшее мaсштaбировaние нейросетей. Сaмaя мощнaя существующaя модель GPT-3 содержит 175 миллиaрдов пaрaметров, тогдa кaк мозг — 100 триллионов пaрaметров (синaпсов).
- Следующий большой вызов для рaзрaботчиков ИИ — нaучить мaшины понимaть, что они делaют. Oтдельно Хинтон выделяет упрaвление движениями.
- Eсть двa подходa к тому, кaк мозг воспринимaет изобрaжение: одни исследовaтели считaют, что он мозг обрaбaтывaет изобрaжение («пиксели»), другие — что символы. Хинтон считaет, что обa подходы неверны: мозг оперирует не пикселями и не символaми, a векторaми нейронной aктивности (т.е. нaборaми aктивaций тех или иных нейронов).
Подробнее:
Вы думаете, что глубокого обучения будет достаточно, чтобы воспроизвести весь человеческий интеллект. Что делает вас таким уверенным?
Я действительно верю, что глубокое обучение сможет сделать всё, но я думаю, что должно быть довольно много концептуальных прорывов. Например, в 2017 году Ашиш Васвани (Ashish Vaswani) и его коллеги ввели трансформеры, которые выводят действительно хорошие векторы, представляющие значения слов. Это был концептуальный прорыв. Теперь он используется почти во всех самых лучших обработках естественного языка. Нам понадобится еще куча таких прорывов.
И если у нас будут такие прорывы, мы приблизим искусственный интеллект к человеческому с помощью глубокого обучения?
Да. Особенно прорывы, связанные с тем, как вы получаете большие векторы нейронной активности для реализации таких вещей, как мышление. Но также нам нужен огромный масштаб. Человеческий мозг имеет около ста триллионов параметров или синапсов. Действительно большой моделью мы сейчас называем GPT-3 со 175 миллиардами параметров. Это в тысячу раз меньше мозга. GPT-3 теперь может генерировать довольно правдоподобный текст, но она все еще крошечная по сравнению с мозгом.
Говоря о масштабе вы имеете в виду большие нейронные сети, данные или и то, и другое?
И то, и другое. Есть несоответствие между тем, что происходит в компьютерных науках, и тем, то происходит у людей. У людей огромное количество параметров в сравнении с объёмом получаемых данных. Нейронные сети удивительно хорошо справляются с гораздо меньшим количеством данных и большим количеством параметров, но люди — еще лучше.
Многие специалисты в области искусственного интеллекта считают, что здравомыслие ИИ — способность, которой нужно заниматься в дальнейшем. Вы согласны?
Я согласен, что это одна из самых важных вещей. Я также думаю, что очень важен контроль над движениями, и сети глубокого обучения сегодня становятся хороши в этом. В частности, некоторые недавние работы Google показали, что возможно комбинировать мелкую моторику и речь таким образом, чтобы система могла открыть ящик стола, вынуть блок и на естественном языке сказать, что она сделала.
Для таких вещей, как GPT-3, которая генерирует замечательные тексты, ясно, что она должна понимать многое, чтобы генерировать текст, при этом не совсем понятно, как много она понимает. Но, когда нечто открывает ящик, вынимает блок и говорит: «Я только что открыло ящик и вынуло блок», трудно сказать, что оно не понимает того, что делает.
Специалисты ИИ всегда смотрели на человеческий мозг, как на неиссякаемый источник вдохновения, и различные подходы к ИИ проистекали из различных теорий когнитивистики. Вы считаете, что мозг действительно строит представление о мире, чтобы понять его, или это только полезный способ мышления?
В когнитивистике очень давно шли дебаты между двумя школами мышления. Лидер первой школы, Стивен Косслин (Stephen Kosslyn), считал, что когда мозг оперирует визуальными изображениями, речь идёт о пикселях и их перемещениях. Вторая школа больше соответствовала традиционному ИИ. Ее приверженцы говорили: «Нет, нет, это нонсенс. Речь идет об иерархических, структурных описаниях. У разума есть определенная символическая структура, мы управляем именно этой структурой».
Я думаю, обе школы совершили одну и ту же ошибку. Косслин думал, что мы манипулируем пикселями, потому что внешние изображения состоят из пикселей и пиксели — это то представление, которое мы понимаем. Во второй школе думали, что, поскольку мы манипулируем символическим представлением и представляем вещи через символы, именно символьное представление — то, что мы понимаем. Я думаю, эти ошибки равнозначны. Внутри мозга находятся большие векторы нейронной активности.
Есть люди, которые до сих пор считают, что символическое представление — это один из подходов к ИИ.
Совершенно верно. У меня есть хорошие друзья, например, Гектор Левеск (Hector Levesque), который действительно верит в символический подход и проделал в этом смысле большую работу. Я не согласен с ним, но символический подход — вполне разумная вещь, чтобы попробовать его. Однако я думаю, что в конце концов мы осознаем, что символы просто существуют во внешнем мире, а мы выполняем внутренние операции над большими векторами.
Ссылки:
Блог компании SkillFactory, 6 ноября 2020, Отец искусственного интеллекта Джефф Хинтон: «Глубокое обучение сможет делать всё»
ВКонтакте, Искусственный интеллект и нейронауки. AI Новости, 11 ноября 2020
MIT Technology Review, November 3, 2020, AI pioneer Geoff Hinton: «Deep learning is going to be able to do everything»