Как сделать научную карьеру в Microsoft и не только: опыт успешного маёвца

Выпускник Московского авиационного института Аман Оразаев дал интервью отделу НИРС МАИ и рассказал про свой карьерный путь в компаниях Яндекс и Microsoft, а также дал ценные советы студентам, которые хотят найти себя в науке и сделать успешную научную карьеру.

— Какой была тема твоего диплома? Какую роль альма-матер сыграла в становлении твоих профессиональных качеств?

— Я обучался на кафедре 806 «Вычислительная математика и программирование» МАИ. При выборе темы дипломной работы изначально смотрел в сторону биометрии и распознавания лиц. Однако, посоветовавшись со своим научным руководителем, пришёл к выводу, что это будет сложно. В итоге мы с ним сошлись на том, что стоит попытаться сгенерировать музыку (мелодию) марковскими цепями. Было интересно, сожалел я только об одном: в восьмидесятых-девяностых это стало бы прорывной научной работой, а для 2012 года, когда я защищал свой диплом, подход был несколько устаревшим.

Мне всегда нравились задачи, которые не понятно, как решать. Можно сказать, дипломная работа была отдалённым стартом того, чем я занимаюсь сейчас. Но ближе к современности в области научных знаний меня сильно подвинула моя первая работа и ШАД (школа анализа данных — ред.).

— Как сложилось, что ты стал заниматься исследованиями и разработкой в Яндексе?

— Мне повезло попасть в Яндекс. Тогда у работников была возможность стать вольнослушателем ШАДа, и я этой возможностью воспользовался. Вольнослушатель — это когда ты можешь полноценно сдавать домашние задания, ходить на все лекции, получать оценки, но ты не получаешь диплом. Желающим предоставляют возможность перевестись в студенты.

Надо понимать, что ШАД готовит работников для Яндекса. Это, конечно, не совсем наука, но Яндекс достаточно плотно занимается исследованиями в областях, тесно связанных с компьютерными науками. В школе преподают машинное обучение, компьютерное зрение, анализ текстов на естественном языке и другие направления. Поэтому обучение там помогло в короткий срок обновить мои знания. Курс по машинному обучению нам читал Константин Вячеславович Воронцов. Его курс и близкие к ШАДу курсы сейчас доступны в интернете, есть курс на Coursera. Очень советую ознакомиться тем, кто интересуется темой.

Вооружившись свежими знаниями, я нашёл внутри Яндекса более интересную для меня работу, балансирующую между исследованиями и разработкой. Я стал заниматься разработкой модели для поиска дубликатов в базе данных организаций в Яндекс.Картах.

— С чем связана твоя работа в Microsoft? Какое твоё самое большое достижение в компании?

— Когда я переехал в США трудиться на Microsoft, то прошёл примерно по такому же пути, как в «Яндексе». Из команды с не особо интересными для меня задачами перешёл в R&D — в команду, которая отвечает за распознавание ввода стилусом. Сейчас занимаю должность senior software engineer. Работая в этом отделе, я ещё более плотно приблизился к современности в области исследований, так как здесь надо уметь делать «магию». Мы часто читаем последние научные публикации в области AI (artificial intelligence — искусственный интеллект — ред.), так как с этим связана наша работа. Проводим свои исследования. Сейчас у нас готовится публикация на CVPR (международная конференция по компьютерному зрению — ред.) про оптимизатор для нейронных сетей. Он старается тренировать сети так, чтобы полученные матрицы весов были более разрежены. Это позволяет экономить на размере слоёв, не сильно теряя в точности. Также у нас есть достаточно много патентов. Мне повезло стать «главным автором» одного из них — про новый большой конвейер из разных методов AI. Он позволяет распознавать то, что тут называют freeform inking. Это когда стилусом нарисован не просто текст, но и другие объекты: диаграммы, стрелки — как на обычной маркерной доске.

— Что ты посоветуешь студентам, которые хотят сделать научную карьеру?

— Я бы очень советовал студентам, которые хотят найти себя в науке, учить английский язык и читать публикации про исследования, которые их интересуют. Сейчас вся передовая наука публикуется на английском языке. Вот есть, например, компания Deepmind, которая занимается искусственным интеллектом. Ей принадлежат такие разработки, как AlphaStar, AlphaGo, AlphaZero, которые обыгрывают опытных мастеров из числа людей в разные игры (StarCraft, го, шахматы). Про AlphaZero и AlphaGo уже есть опубликованные научные статьи. Без должного бэкграунда, конечно, тяжело будет понять, что там написано. Но практически каждая публикация имеет референсы на предшественников. А у предшественников на их предшественников. И когда вы начинаете копать глубже, картина начинает понемногу вырисовываться. Если не хватает фундаментальных знаний — то в интернете их много. Топовые мировые университеты, такие как Stanford, MIT и другие, публикуют свои курсы лекций в открытый доступ, но опять же на английском языке.

Также советую следить за топовыми конференциями. В области машинного обучения это CVPR, NIPS, ICML. К слову, если вы — студент, то у вас должна быть достаточно большая скидка на билет. Как минимум, вы сможете лично пообщаться с людьми, которые двигают науку, посмотреть последние публикации, задать волнующие вас вопросы. Как максимум — найти работу. Я видел студентов которые практически сразу при встрече говорили: «Я ищу работу, у вас есть работа?». Не стесняйтесь, интересуйтесь, и не исключено, что вам повезёт. На прошедшем CVPR я видел множество предложений о работе в различных исследовательских лабораториях. Кстати следующий CVPR будет в городе, где я проживаю.

Ну, и совет про то, как найти хорошую тему для дипломной работы/публикации в аспирантуре. Начните вычитывать последние научные публикации, находясь на четвёртом курсе. Тогда у вас будет достаточно времени развить тему понравившейся публикации дальше и сделать своей, вполне себе достойной, дипломной работой. Причём не обязательно прыгать выше головы. Например, когда появился метод регуляризации для нейронных сетей Dropout (когда часть нейронов вы случайным образом «отключаете», предотвращая переобучение), вышла статья, которая предлагала использовать его до функции активации, — и практически следом вышла ещё одна — про dropout после функции активации. То есть люди пытаются делать маленькие инкрементальные улучшения имеющихся методов. Для дипломной работы этого будет более чем достаточно, и вы не повторите мою ошибку, где мне, по сути, не отчего было оттолкнуться, когда я писал свою.