Российские нейросети уже вполне могут составить конкуренцию нашумевшим ChatGPT и Midjourney. Обучают их отечественные суперкомпьютеры, а также специально подготовленные AI–тренеры.
Пожалуй, самыми яркими и нашумевшими примерами последних российских разработок в области нейросетей являются YaLM от "Яндекса" и Kandinsky "Сбера". Kandinsky представляет собой генеративную нейросеть, создающую изображения по текстовым описаниям, как Midjourney. Нейросеть разрабатывали совместно с Институтом искусственного интеллекта AIRI, её обучали на 170 млн примерах связок "текст — изображение".
В начале апреля "Сбер" запустил в публичный бесплатный доступ последнюю версию Kandinsky 2.1. YaLM же, в свою очередь, — это целое семейство языковых моделей, которое создал "Яндекс" и теперь применяет в различных своих продуктах: поиске, "Алисе", переводчике, почте, "Яндекс.Маркете" и т. д.
Долго, но эффективно
Как объяснил "ДП" Александр Крайнов, директор по развитию технологий искусственного интеллекта в "Яндексе", если сравнивать YaLM с моделями от OpenAI, то первая версия YaLM похожа на GPT3 (третье поколение нейросетей семейства GPT), а YaLM 2.0, которую сейчас разрабатывает "Яндекс", больше всего будет похожа на ChatGPT (наиболее обсуждаемая сейчас в мире нейросеть).
"Пару лет назад мы сделали “Балабобу” — это демо, где можно “поиграть” с одной из наших первых базовых языковых моделей. Внутри “Балабобы” — языковая модель из семейства YaLM. Эта модель помогает нейросети запоминать правила языка, выбирать подходящие слова и связывать их по смыслу. У “Балабобы” нет своего мнения, он выдаёт случайные продолжения, которые могли бы быть написаны в интернете, но может закончить историю, придумать подпись или написать небольшой рассказ", — рассказал Крайнов.
Обучали YaLM по тому же принципу, как и все нейросети, которые относятся к языковым моделям. Вначале базовая модель обрабатывает огромный массив текстов и учится восстанавливать пропущенные слова на основе полученных данных. Это самый долгий этап обучения, замечает Крайнов. Зато после этого базовую модель можно дообучить на другие специфические задачи.
В 2022 году в открытом доступе также появилась модель YaLM 100B на 100 млрд, которая умеет генерировать тексты на русском и английском языках.
"Для создания нового поколения нейросетей семейства YaLM “Яндекс” задействует все свои суперкомпьютеры: “Червоненкис”, “Галушкин” и “Ляпунов”, общей мощностью более 50 петафлопсов. Это самые мощные суперкомпьютеры в России и Восточной Европе. У нас очень сильная команда разработчиков и экспертов в области машинного обучения, которая постоянно расширяется", — поделился собеседник "ДП".
ИИ повсюду
Дмитрий Иванков, эксперт Центра искусственного интеллекта СКБ "Контур", отмечает, что есть ещё множество российских нейросетей, на которые стоит обратить внимание. "Из последних релизов можно вспомнить бета–версию нейросети “Шедеврум” от того же “Яндекса”. Это приложение для генерации изображений, которое после выпуска, а также благодаря хорошему продвижению попало в топ–чарт российского App Store. При этом обучение модели всё ещё продолжается (для бета–версии было использовано 240 млн примеров картинок из 500 млн доступных компании). И разработчики обещают в дальнейшем поэтапно улучшать качество получаемых изображений. До “Шедеврума” также были и ruDALL–E, и первая версия Kandinsky от “Сбера”, которые тоже использовались для генерации изображений по текстовому описанию", — рассказывает он.
Вячеслав Борисов, владелец продукта "Сфера. Обезличивание данных", считает интересными две другие языковые модели от "Сбера" — mGPT и ruGPT–3. "Это текстогенерирующие нейронные GPT–подобные сети, которые поддерживают русский язык. Также я бы назвал NeuroHD — это генеративно–состязательная нейросеть от VK. Данная сеть может повышать качество и разрешение видео", — говорит эксперт.
Многие опрошенные эксперты отмечают, что индустрия нейросетей в России развивается стремительно. Бизнес давно обратил внимание на искусственный интеллект и применяет его в разных областях: чат–боты, голосовые помощники, сервисы, системы модерации контента на сайтах и маркетплейсах. Даже камеры слежения и системы безопасности, а также системы безопасного управления транспортом. Фактически ИИ сейчас вшит везде и всюду малозаметно для обычного потребителя, незнакомого с техническими тонкостями.
Инвестиции в будущее
Дмитрий Ходыкин, руководитель AI/ML проектов компании ITentika, убеждён, что в России есть специалисты, технологии и вычислительные мощности для того, чтобы обучать большие нейронные сети.
"В первую очередь это касается российских технологических гигантов, которые инвестируют большие средства в создание вычислительных кластеров, а также в научно–исследовательские и опытные работы (НИОКР) по развитию продуктов, основанных на нейронных сетях. Однако стоит учитывать, что порядка 90% всех инвестиций в НИОКР (не только в создание нейросетей) — это США и Китай. На остальные страны приходится статистическая погрешность от объёма инвестиций этих технологических лидеров", — подчёркивает он.
Вячеслав Борисов подтверждает, что, по мнению некоторых, Россия является одним из лидеров в области нейросетей в мире. "Такие компании, как “Яндекс” и “Сбер” (и они не единственные), построили суперкомпьютеры, которые входят в топ самых мощных в мире и могут применяться для обучения нейросетей. Традиционно в России сильна математическая школа, необходимая для создания и развития подобных технологий, и, если копнуть глубже, мы обнаружим достаточно много совместных проектов научных институтов и российских компаний по созданию и прикладному использованию ИИ", — поясняет он.
Бизнес заинтересован в инвестициях в это направление, поскольку такие технологии приносят очевидную пользу, в том числе финансовую, продолжает Борисов. Наличие инвестиций — гарант того, что мы сможем быть достаточно конкурентоспособны на мировом рынке.
Однако Дмитрий Иванков обращает внимание, что разработка качественных моделей ИИ, таких как ChatGPT и Midjourney, — ресурсоёмкий процесс. Добиться наилучшего качества получается благодаря увеличению массива данных для обучения нейронных сетей. Эти данные стоят дорого, и позволить себе такие затраты могут только крупные игроки. "Правда, существуют инициативные группы, объединения профессионалов, которые с помощью краудсорсинга собирают данные для обучения моделей. Но, как правило, эти модели работают хорошо только с английским языком, а не с русским. Требуются большие инвестиции, которые есть у нескольких компаний. И у российских компаний ресурсов меньше, чем у международных", — резюмирует он.
Александр Крайнов особо отмечает, что сейчас индустрия нуждается в хороших и качественных кадрах, которые помогут нейросетям учиться и развиваться. "Яндекс", например, недавно начал наём AI–тренеров — "учителей" для нейросетей.
"AI–тренер — это профессия будущего, которая требует экспертизы в области искусственного интеллекта и работы с текстом. Мы нанимаем AI–тренеров, потому что разрабатываем YaLM 2.0 — нейросеть следующего поколения, которая будет использоваться в “Алисе”, поиске и других сервисах компании. Современные нейросети получают знания о мире с помощью материалов из интернета. Но чтобы применять эти знания на практике, нейросетям нужен тренер, который покажет примеры успешно решённых задач и сможет оценить ответы. AI–тренеры — специалисты, которые помогут нам выйти на качественно новый уровень обучения нейросетей", — поделился он.
