Статья сотрудников Сколтеха стала самой обсуждаемой научной статьей года

Статья сотрудников Сколтеха стала самой обсуждаемой научной статьей года

Статья Егора Захарова, Александры Шишея, Егора Буркова и Виктора Лемпицкого, сотрудников Сколковского института науки и технологий и AI центра Samsung, вошла в историю сервиса оценки, вошла в историю сервиса оценки онлайн-активности в отношении научных публикаций в интернете – Altmetric Top 100 – как абсолютный лидер по количеству репостов в сети за все семь лет существования данного рейтинга.

В статье «Few-Shot Adversarial Learning of Realistic Neural Talking Head Models» рассматривается возможность создания системы, которая позволяет синтезировать реалистичные видеопоследовательности, имитирующие речь и мимику конкретного человека. Данная работа знаменует очередной этап в развитии технологий распознавания и генерации лиц.

Один из авторов труда, Егор Захаров, так объясняет цель исследования: «Мы хотели усовершенствовать функции телеприсутствия в виртуальной и дополненной реальности. Важная часть такой среды — это реалистичная передача того, как выглядят и двигаются люди. С помощью глубокого обучения мы стремились добиться наиболее естественного изображения».

Профессор Виктор Лемпицкий отмечает: «Благодаря глубокому обучению, основанному на множестве фотографий знаменитостей, нашему алгоритму нужно всего несколько фотографий человека, чтобы создать его реалистичный видеоаватар».

В Сколтехе гордятся работой своих сотрудников. «Честно говоря, я не удивлен. Данная работа наших студентов и аспирантов, сделанная под руководством профессора Лемпицкого, который без преувеличения является одним и ведущих специалистов в этой области в мире, – с момента публикации подняла беспрецедентную волну интереса к ней со всех точек земного шара. И это еще раз подтверждает тот факт, что Сколтех успешно выполняет свою миссию – воспитывает высококвалифицированных специалистов, решающих актуальные задачи индустрии и способных «продать» результаты своей работы всему миру,» – заявил Дмитрий Мацнев, заместитель директора Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE Сколтеха).

В этом году в рейтинг Altmetric Top 100 вошли статьи, опубликованные в 43 журналах, на серверах препринтов и на государственных сайтах. По числу публикаций в списке лидируют авторы из Гарвардского университета (11 статей) и журнал Nature (12 публикаций).

Сервис Altmetric позволят отслеживать реакцию на публикуемые результаты исследований в сети, анализируя высказывания и дискуссии пользователей на научных и других форумах, публикации в ведущих средствах массовой информации, содержание государственных директивных документов, полемику в социальных сетях и блогах.

Полный список самых цитируемых и обсуждаемых статей, согласно Altmetric, можно найти по ссылке https://www.altmetric.com/top100/2019/

Ссылка на самую популярную научную статью этого года: https://arxiv.org/abs/1905.08233v1

 

Аннотация статьи:

Several recent works have shown how highly realistic human head images can be obtained by training convolutional neural networks to generate them. In order to create a personalized talking head model, these works require training on a large dataset of images of a single person.

However, in many practical scenarios, such personalized talking head models need to be learned from a few image views of a person, potentially even a single image. Here, we present a system with such few-shot capability. It performs lengthy meta-learning on a large dataset of videos, and after that is able to frame few- and one-shot learning of neural talking head models of previously unseen people as adversarial training problems with high capacity generators and discriminators.

Crucially, the system is able to initialize the parameters of both the generator and the discriminator in a person-specific way, so that training can be based on just a few images and done quickly, despite the need to tune tens of millions of parameters. We show that such an approach is able to learn highly realistic and personalized talking head models of new people and even portrait paintings.

 

Источник: «Сколтех», Новости, 18/12/2019, Исследователи Сколтеха – авторы самой обсуждаемой научной статьи года