До сих пор математического объяснения работе нейронных сетей не существует

До сих пор математического объяснения работе нейронных сетей не существует

Выдержка из интервью журналу «Огонек» ректора Сколковского института Александра Кулешова, опубликованого 16 мая 2016 г. Полностью интервью, которое провела Елена Кудрявцева, читайте в журнале «Огонек»: «Мы уже живем в новой реальности». Александр Кулешов — академик РАН, председатель ученого совета ИППИ РАН, ректор Сколковского института науки и технологий.

— Распознавание изображений, образов связано с работой так называемых нейронных сетей — некоторых компьютерных алгоритмов, которые, насколько я понимаю, «умеют» сами себя обучать. Можете рассказать, как устроена их работа?

— К сожалению, нет. До сих пор математического объяснения работе нейронных сетей не существует. Грубо говоря, мы не понимаем законов физики, которые задействованы в их работе. И сейчас, по сути, среди самых талантливых математиков во всем мире объявлен негласный конкурс на то, кто первый объяснит, как все это устроено. Многие математики рассматривают это как главный вызов в своей жизни.

— Значит, ученые создали нечто такое, что сами не могут объяснить?

— Да, удивительная вещь, но в этом отношении мы вернулись в XVI век, когда ученые наблюдали какой-то эффект, но не могли его объяснить. Человечество не сталкивалось с подобным, наверное, со времен Галилея. Это касается нейронных систем, так называемых систем Deep learning — глубинного обучения, и так далее.

— Но все же есть какой-то принцип, который лежит в основе этих систем?

— Есть некоторый подход, основанный на работе сетей с большим количество уровней, которые некоторым таинственным образом умеют тренироваться. Мы вводим туда определенный объем информации, они каким-то образом его обрабатывают, выделяют в нем важные вещи и выдают некий новый продукт. Сам этот процесс обучения на самом деле достаточно мистический, потому что непонятно, как это происходит. Там, внутри, конечно, работают некоторые математические алгоритмы, в том числе оптимизационные и тому подобные, но как в целом устроен процесс, мы не понимаем. В мире есть математические гуру, которые умеют создавать настоящие нейронные сети. Это похоже на кулинарный рецепт наших бабушек, которые всего добавляли по щепотке на глаз, но на словах не могли объяснить, как же варить щи.

— Что это за люди?

— Западные математики между собой называют их шаманами. Их всего несколько человек в мире, и это, без преувеличения, самая востребованная и самая высокооплачиваемая сегодня категория людей. Они умеют делать так, что нейросеть начинает думать. Среди лидеров направления — Джошуа Беньо (Монреальский институт изучения алгоритмов), Ян Лекун (руководитель Центра изучения данных при Нью-Йоркском университете), Алекс Крижевский (Университет Торонто). Это, безусловно, самое интересное, что сейчас творится в области прикладных вещей.

— Вы упомянули о Deep learning — глубинном обучении, которое позволяет работать этим самым нейронным сетям. В этой области тоже можно ждать прорыва?

— О, это направление сейчас очень популярно. Эти методы начали применяться повсеместно, и я бы даже назвал это неким локальным сумасшествием. По всему миру, в том числе и в Москве, существуют клубы любителей Deep learning. Это многих привлекает, потому что внешне кажется несложным. Суть такая: вы задаете машине некий объем информации и она сама решает, что с ним делать. Например, мой аспират подсунул компьютеру «Войну и мир» Льва Толстого и «Тихий Дон» Шолохова. В итоге через какое-то время Сеть начала производить свой текст, в котором практически не было грамматических ошибок, при том что никаких правил орфографии и синтаксиса ей никто не «объяснял». Она сама поняла, как надо, и если ее не остановить, она будет писать текст вечно, не останавливаясь.

— А есть в этом тексте смысл?

— Знаете, когда начинаешь читать, то лишь через пару страниц понимаешь, что смысла там нет, хотя написано все складно. Помню, там Пьер Безухов спрашивает графа Болконского: «Слушай, ты давно с Новочеркасска?»

— Такие вещи выглядят, безусловно, интересными, но вряд ли в них будут вкладывать гигантские деньги…

— Я до сих пор рассказывал о применении нейросетей для вещей более или менее тривиальных, бытовых. А на самом деле для них есть огромное количество чисто инженерных применений. Представьте, что сегодня инженер во всем в мире в среднем 80 процентов своего времени тратит на поиск аналогов. Проектирует он, предположим, некий редуктор или профиль самолета. Сначала он будет искать аналог, чтобы потом внести в него какие-то необходимые изменения. Это совершенно разумно, потому что глупо каждый раз все разрабатывать с нуля. Где же искать эти аналоги? В огромных базах данных, в электронных библиотеках, куда другие инженеры складывают свои решения. Весь вопрос в том, как там найти что-то подходящее. Оказывается, что это вполне решается методами нейросети, которая может научиться искать то, что необходимо.

— И это всерьез изменит работу инженера?

— Не то что работу инженера, а в каком-то смысле может совершенно грандиозным способом изменить картину мира, потому что позволит людям непрофессиональным или не совсем профессиональным делать довольно непростые вещи. Например, если сейчас любой новичок может распечатать себе на 3D-принтере расческу, то скоро он сможет сделать с помощью нейросети детальный чертеж дачного домика или еще что-то подобное. Исчезнет целая прослойка инженеров — синих воротничков, которые сегодня решают огромный объем довольно тривиальных с точки зрения математики задач.

— Но нетривиальные задачи все-таки будут решать люди?

— Безусловно. Сложными машинами и механизмами будут заниматься люди, но проблема в том, что среди 70 млн инженеров-конструкторов в мире сложными методами владеет всего 1 процент! Это известная вещь, 99 процентов как раз большую часть своего времени отыскивают аналоги.

— Даже страшно себе представить, чем будут заниматься эти миллионы инженеров, когда они окажутся на улице благодаря прогрессу!

— Это отдельный разговор, просто сама работа инженера стремительно меняется. Понимаете, раньше самолет делался 10-15 лет, а сегодня если он не будет обновляться каждые 4 года, то компания прогорит. Все это работает на совершенно другой идеологии, методологии, на совершенно новых подходах. Если раньше методы инженерии были основаны на профессионализме, чутье, здравом смысле разработчика, на знаниях и длительном опыте работы, то сейчас ты должен уметь правильно трактовать те результаты, которые тебе выдает компьютер. Ты можешь, конечно, как прежде, выучить сопромат, но это как логарифмическая линейка, которой пользоваться сегодня, в принципе, смешно. Старая инженерная школа во всем мире просто умерла.

— В России она умерла как-то по-особенному, в последние годы слышатся призывы возрождать класс инженеров, в то время как раньше они были как раз самым избыточным классом. Каких инженеров, на ваш взгляд, нам не хватает в первую очередь?

— Абсолютно любых инженеров без ограничения. Известно, что российская, еще дореволюционная, а потом и советская инженерная школа была очень сильной. Но она вся погибла в связи с тем, что за прошедшие 25 лет, когда, как я сказал, профессия инженера радикально менялась, мы ничего не делали и время упустили. Если сегодня посмотреть на все наши крупные предприятия, то везде есть такое двухмодовое распределение по возрасту: молодежь до 30 лет и старички, которые уже вряд ли могут чему-то учить. Их знания не капитализируемы, поэтому у нас колоссальная нехватка инженеров во всех областях.

— А как у нас обстоит дело с образованием математиков? Наша математическая школа была известна далеко за пределами России.

— Знаете, когда в середине 1950-х CCCP запустил первый спутник, для США советское образование стало эталонным, они начали копировать то, что существовало у нас: систему математических кружков, спецшкол и т.д. У нас была прекрасно развита система всесоюзных олимпиад, которая охватывала миллионы детей. Даже если ты жил в самой глухой деревушке, тебя вылавливали широким неводом, и в конце концов ты оказывался в Москве. Сегодня какие-то частицы этой традиции сохранились, их нужно беречь, поддерживать.

Сейчас в России в целом сохранился довольно высокий уровень математической культуры. Есть прекрасная лаборатория в Санкт-Петербургском государственном университете, есть Математический институт им. Стеклова, Институт проблем передачи информации РАН (ИППИ), есть, в конце концов, совершенно уникальный для всего мира Независимый университет, который был сделан подвижниками математики без копейки государственных денег.

— За счет чего математическая школа смогла пережить 25 лет развала, поглотившего инженерную школу?

— Традиция — великое дело, она представляет собой распространение вниз во времени стереотипов работы, поведения, организации институтов. У нас сохранились довольно жесткие математические семинары, которыми в свое время славились стены ИППИ РАН, где работал тот же Израиль Моисеевич Гельфанд. Там, например, назвать человека дураком публично было нормально, естественно. Если ты говорил ерунду, то тебя могли оборвать на любом слове и пояснить, кем ты являешься на самом деле. Это была очень жесткая аудитория, где нужно было выпить полпузырька валерьянки, прежде чем зайти. С одной стороны, она, безусловно, людей ломала, делала сумасшедшими в прямом смысле этого слова, но с другой — в ней была великая польза, потому что она не позволяла расслабиться, давала невероятную интеллектуальную закалку. Если о человеке говорили, что он, например, прошел семинар Добрушинской математической лаборатории или семинар академика Ландау, то это сразу характеризовало его определенным образом. Сегодня этого почти не осталось, а на Западе, кстати, исчезло совсем. Это очень забавная история, но там ученые перестали задавать друг другу вопросы. Все настолько атомизировались, занимаются очень узкими направлениями и совершенно не интересуются тем, что происходит рядом. Поэтому если вы слышите после выступления вопросы — это скорее всего русские.