Невероятный стажёр: история Куок Ле и поворот Google к глубокому обучению

Это адаптированный перевод фрагмента материала The New York Times Magazine «The Great A.I. Awakening» (автор Gideon Lewis-Kraus, 14 декабря 2016 года). Оригинал на сайте NYT: https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html. С подготовкой русской версии помогли в бюро переводов в Санкт-Петербурге.

Невероятный стажёр

Подразделение Google Brain было основано в 2011 году небольшой группой исследователей внутри Google: Джеффом Дином, Эндрю Нгом и Грегом Коррадо. Идея была старой и долго казавшейся утопической — построить искусственный интеллект по образу человеческого мозга, через обучающиеся нейронные сети, а не через явно прописанные правила. К середине 2010-х годов этот подход внезапно начал давать результаты, и Brain стал одним из мест, где это происходило быстрее всего.

В свой первый год существования эксперименты подразделения Brain по созданию машины с талантами годовалого ребенка, как и говорил Дин, оказались чрезвычайно эффективными:

• команда распознавания речи заменила часть своей старой системы на нейронную сеть и практически в одночасье добилась улучшения качества, лучшего из виденных за последние 20 лет;
• способности их системы к распознаванию объектов улучшились на порядок.

Произошло это не потому, что сотрудники Brain за один год сгенерировали кучу дерзких новых идей, а потому, что Google наконец-то выделил ресурсы — вычислительные и, все в большей степени, кадровые — чтобы воплотить давно существующие наброски.

Приход Джеффри Хинтона

Подавляющее большинство этих существующих, но забытых идей было предложено или доработано неутомимым английским эрудитом по имени Джеффри Хинтон. На втором году существования Brain Хинтон был принят в команду, когда Эндрю Нг её покинул (Нг теперь возглавляет команду по ИИ из 1300 человек в Baidu). Хинтон хотел оставить свой пост в Университете Торонто всего на три месяца, поэтому по сложным контрактным причинам его пришлось нанять стажёром. На обучении стажёров ведущий ориентации говорил что-то вроде: «Введите свой LDAP» (логин пользователя), а он останавливал помощника вопросом: «А что такое LDAP?» Все присутствовавшие умные 25-летние ребята, которые знали глубокое обучение как нечто само собой разумеющееся в искусственном интеллекте, усмехались: «Кто этот старик? Почему он ничего не понимает?»

«Во время ланча, — сказал Хинтон, — кто-то в очереди крикнул: “Профессор Хинтон! Я посещал ваш курс! Что вы здесь делаете?” После этого всё было в порядке».

Спустя несколько месяцев Хинтон и двое его студентов продемонстрировали поистине удивительные успехи в крупном конкурсе по распознаванию изображений, проводимом коллективом под открытым исходным кодом ImageNet, где компьютеры должны не только идентифицировать обезьяну, но и отличать паукообразных обезьян от ревунов, а также, бог знает, между сколькими разными породами кошек. Вскоре Google сделал предложение Хинтону и его студентам. Они приняли его. «Я думал, они заинтересованы в нашей интеллектуальной собственности (I.P.), — сказал он. — Оказалось, они были заинтересованы в нас».

Интеллектуальное наследие

Хинтон происходит из одной из тех старых британских семей, вписанных, подобно Дарвинам, под эксцентричным углом в интеллектуальный ландшафт, где от человека, независимо от его основных занятий, ожидают побочного вклада в решение мелких проблем в астрономии или гидродинамике. Его прапрадед — Джордж Буль, чья основополагающая работа в области символической логики лежит в основе компьютера; другой прапрадед был знаменитым хирургом, его отец — предприимчивым энтомологом, двоюродный брат отца — исследователем в Лос-Аламосе; список можно продолжать. Он учился в Кембридже и Эдинбурге, затем преподавал в Университете Карнеги-Меллон, прежде чем оказаться в Торонто, где он до сих пор проводит половину своего времени (его работу долгое время поддерживало щедрое финансирование канадского правительства). Я навестил его в его офисе в Google там. У него всклокоченные волосы цвета потускневшего серебра, зачесанные вперед в стиле зрелого Ноэла Галлахера, и на нем была мешковатая полосатая рубашка, которая никак не хотела оставаться заправленной, и овальные очки, которые сползали на кончик выдающегося носа. Он говорит с напором, хотя и несколько бессистемно, и говорит такие вещи, как: «Компьютеры поймут сарказм раньше американцев».

Возрождение нейронных сетей

Хинтон работал над нейронными сетями со времен своей учебы в Кембридже в конце 1960-х годов, и его считают интеллектуальным прародителем современной области. Большую часть этого времени, когда бы он ни говорил о машинном обучении, люди смотрели на него так, как будто он рассказывает о птолемеевых сферах или кровопускании пиявками. Нейронные сети считались опровергнутой глупостью, в основном из-за одного чрезмерно разрекламированного проекта: «Персептрона», искусственной нейронной сети, разработанной Франком Розенблаттом, психологом из Корнелла, в конце 1950-х годов. The New York Times сообщала, что спонсор машины, ВМС США, ожидал, что она «сможет ходить, говорить, видеть, писать, воспроизводить себя и осознавать свое существование». Впоследствии она не сделала практически ничего из этого.

Марвин Мinsky, декан американского искусственного интеллекта, работал над нейронными сетями для своей диссертации в Принстоне в 1954 году, но к тому времени он устал от раздутых заявлений, которые Розенблатт — его современник по Бронкс-сайенс — делал в адрес нейронной парадигмы (он также конкурировал за финансирование от Министерства обороны). Вместе с коллегой из MIT Мinsky опубликовал книгу, в которой доказывалось, что существуют до боли простые проблемы, которые Персептрон никогда не сможет решить.

Проблема слоев и глубокое обучение

Критика Мinsky в адрес Персептрона касалась только сетей с одним «слоем», то есть одним слоем искусственных нейронов между тем, что подается на вход машины, и тем, что вы ожидаете от нее на выходе, — и в later жизни он излагал идеи, очень похожие на современное глубокое обучение. Но Хинтон уже тогда знал, что сложные задачи можно выполнять, если прибегнуть к нескольким слоям. Самое простое описание нейронной сети — это машина, которая делает классификацию или прогнозы на основе своей способности обнаруживать закономерности (patterns) в данных. С одним слоем можно найти только простые закономерности; с более чем одним слоем можно искать закономерности закономерностей.

Возьмем случай распознавания изображений, который обычно полагается на конструкцию под названием «сверточная нейронная сеть» (эти сети были подробно описаны в основополагающей статье 1998 года, ведущий автор которой, француз Ян Лекун, проходил постдокторские исследования в Торонто под руководством Хинтона и теперь руководит огромными исследованиями в области ИИ в Facebook). Первый слой сети учится идентифицировать очень базовый визуальный троп — «край» (edge), означающий ничто (выключенный пиксель), за которым следует нечто (включенный пиксель), или наоборот. Каждый последующий слой сети ищет закономерность в предыдущем слое. Совокупность краев может образовывать круг или прямоугольник. Совокупность кругов или прямоугольников может образовывать лицо. И так далее. Это более или менее параллельно тому, как информация собирается во все более абстрактные формы по мере продвижения от фоторецепторов в сетчатке назад и вверх через зрительную кору. На каждом концептуальном шаге детали, которые не имеют непосредственного значения, отбрасываются. Если несколько краев и кругов складываются в лицо, вам не важно, где именно это лицо находится в поле зрения; вам важно только то, что это лицо. Демонстрация 1993 года, показывающая раннюю версию свёрточной нейронной сети исследователя Яна Лекуна, которая к концу 1990-х годов обрабатывала от 10 до 20 процентов всех чеков в Соединённых Штатах. Похожая технология сегодня лежит в основе большинства самых современных систем распознавания изображений.

Сложности метода проб и ошибок

Проблема с многослойными «глубокими» нейронными сетями заключалась в том, что метод проб и ошибок становился чрезвычайно сложным. В одном слое всё просто. Представьте, что вы играете с ребёнком:

• вы говорите ребёнку: «Возьми зелёный мяч и положи его в коробку А»;
• ребёнок берёт зелёный мяч и кладёт его в коробку Б;
• вы говорите: «Попробуй снова положить зелёный мяч в коробку А»;
• ребёнок пробует коробку А. Браво.

А теперь представьте, что вы говорите ребёнку: «Возьми зелёный мяч, пройди через дверь с отметкой 3 и положи зелёный мяч в коробку А». Ребёнок берёт красный мяч, проходит через дверь с отметкой 2 и кладёт красный мяч в коробку Б. Как вы начнёте исправлять ребёнка? Вы не можете просто повторить свои первоначальные инструкции, потому что ребёнок не знает, на каком этапе он ошибся. В реальной жизни вы могли бы начать с того, чтобы показать красный и зелёный мячи и сказать: «Красный мяч, зелёный мяч». Однако весь смысл машинного обучения как раз в том, чтобы избегать такого явного наставничества.

Хинтон и ещё несколько человек в конце 1970-х и в 1980-х годах, преодолевая трудности, изобрели решение (вернее, заново открыли более старое) для этой проблемы многослойных ошибок, и интерес компьютерных учёных к нейронным сетям ненадолго возродился. «Люди очень заинтересовались этим, — сказал он. — Но мы переборщили с обещаниями». Компьютерные учёные быстро вернулись к мысли, что такие люди, как Хинтон, — чудаки и мистики.

Однако эти идеи оставались популярными среди философов и психологов, которые называли это «коннекционизмом» или «параллельно-распределённой обработкой информации». «Эта идея, — сказал мне Хинтон, — о том, что несколько человек хранят огонь, — красивый миф. Внутри искусственного интеллекта это было правдой. Но в психологии многие люди верили в этот подход, просто не могли его реализовать». Не мог этого сделать и Хинтон, несмотря на щедрость канадского правительства. «Просто не хватало ни вычислительных мощностей, ни данных. Наши сторонники всё повторяли: "Да, но если бы у меня была действительно большая сеть, это бы сработало". Это был не очень убедительный аргумент».