«Сегодня сделать большую языковую модель — это гигантский труд»
С 22 по 24 ноября проходит международная онлайн-конференция в сфере технологий искусственного интеллекта AI Journey 2023. В ее работе приняли участие эксперты НИУ ВШЭ. В фокусе обсуждения — языковые модели и методы, которые применяются сегодня для обучения искусственного интеллекта.
Научный сотрудник Международной лаборатории интеллектуальных систем и структурного анализа факультета компьютерных наук НИУ ВШЭ Елизавета Гончарова выступила с докладом «Языковые модели. Что можно выучить, генерируя текст?». Она рассказала об истории развития процесса обработки естественного языка и больших языковых моделей как виртуальных ассистентов. По ее словам, начало этому направлению было положено еще в середине прошлого столетия, но применяемые тогда подходы главным образом были основаны на правилах, связанных с формальной грамматикой и регулярными выражениями. «Однако впоследствии нейросетевые подходы по обработке естественного языка и трансформерные модели взяли верх, и все большие и наиболее успешные примеры работ моделей по обработке естественного языка теперь связаны именно с архитектурой трансформеров», — отметила исследовательница.
Елизавета Гончарова
Елизавета Гончарова считает, что большие языковые модели очень мощные, поэтому, будучи предобученными на простой задаче языкового моделирования, они способны решать гораздо более сложные прикладные задачи даже без дальнейшего обучения. «Если заглянуть внутрь модели, то мы увидим, что каждая часть модели отвечает за кодирование и своей информации, и той информации, на которую мы посягаем как люди: лингвистической структуры текста, фактологии, понятий времени и пространства и даже визуальных концептов, в целом закодированных внутри модели, которую мы рассматриваем, — объяснила она. — Добавление на дообучение модели данных других модальностей позволяет лучше улавливать понятия, связанные с этими модальностями, как в случае цветов, так и в случае форм. Это намекает нам на то, что текстов недостаточно, чтобы модель получила все знания о мире. Возможно, расширение модальности позволит нам открыть новые формы моделей и перейти к более сложным и более умным моделям, которые мы будем использовать в будущем».
Об алгоритмах, которые применяются для создания языковых моделей, используемых искусственным интеллектом, рассказал Евгений Соколов, руководитель департамента больших данных и информационного поиска, доцент факультета компьютерных наук, научный руководитель Центра непрерывного образования НИУ ВШЭ. Тема его доклада — «Tехнологии и алгоритмы внутри больших языковых моделей, или Что сегодня понимают под ИИ?». Евгений Соколов отметил, что сегодня уже много информации об успехах ИИ, генеративных моделей, больших языковых моделей. Он предложил разобраться, как они работают, что находится внутри, какие алгоритмы делают возможными все эти результаты и за счет чего происходит рост качества в методах ИИ.
Евгений Соколов
«Сегодня сделать большую языковую модель — это гигантский труд. Да, математика, которая лежит в основе, очень простая: производные, градиенты, градиентный спуск. А дальше начинается много интересного, нужно придумать методы для извлечения информации из данных, — говорит Евгений Соколов. — Сейчас есть трансформеры, но, кто знает, может, завтра придумают что-то новое? Очень важны сегодня обучающие данные. Классическая парадигма — это когда мы берем обучающие данные и подкручиваем параметры какой-то модели, какого-то алгоритма, чтобы получилось получше. Но сейчас этого мало, недостаточно. Нам нужно как-то внедрить требования качества в эту модель. Для этого мы берем асессоров, собираем большую выборку, строим отдельную оценивающую модель, что требует тоже очень много времени, и на основе этого докручиваем параметры нашей большой языковой модели. Получается сложная схема, какой мы видим ее сегодня. И это то, как сейчас обучаются большие языковые модели».
Эксперт отметил, что в этой работе главную роль играет не решение задачи, чтобы модель как-то «догадалась», что разработчики в нее заложили какие-то глубокие понимания — например, понимание того, как устроен язык. В этой работе важны два момента — собрать качественные данные и взять модель побольше. По его мнению, последние годы исследований показали, что основной рост качества языковых моделей достигается за счет определения большего количества параметров, по которым в дальнейшем будет вестись разработка большой языковой модели.
Свои доклады на конференции также представили и другие исследователи из Вышки. Так, младший научный сотрудник Института искусственного интеллекта и цифровых наук Айбек Аланов выступил с докладом «Редактирование изображений с помощью диффузионных моделей». Сотрудник Института искусственного интеллекта и цифровых наук и Научно-учебной лаборатории методов анализа больших данных НИУ ВШЭ Виталий Поздняков представил доклад на тему «Генерация стрессовых данных для проверки устойчивости моделей». Доцент факультета компьютерных наук, сотрудник Международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ Дмитрий Ильвовский сделал сообщение на тему «Интерпретируемые подходы к дискурсивным, логическим и аргументативным структурам в тексте». А профессор НИУ ВШЭ в Нижнем Новгороде Андрей Савченко представил исследование «Эффективные методы распознавания выражений лиц на видео».
В форсайт-сессии «ИИ для человека будущего» выступил Александр Чулок, директор Центра научно-технологического прогнозирования ИСИЭЗ НИУ ВШЭ.
Вам также может быть интересно:
Стартовала регистрация школьников на Всероссийскую олимпиаду по ИИ
Открылась регистрация на пятый сезон Всероссийской олимпиады по искусственному интеллекту. В этом году организаторы ожидают увеличения числа участников — соревнование получило международный статус, и теперь принять участие могут школьники 8–11-х классов не только из России, но и из других стран. Олимпиаде присвоен II уровень в перечне РСОШ — ее призеры и победители получат льготы при поступлении в вуз.
В НИУ ВШЭ обсудили глобальные тренды ИИ на международной форсайт-сессии
В Высшей школе экономики прошла международная форсайт-сессия по искусственному интеллекту (ИИ). Российские и иностранные ученые обсудили тренды и вызовы, которые возникают в связи с быстрым развитием ИИ.
Больше не одинокий гений: как сохранить идентичность ученого в эпоху ИИ
Сегодня профессия ученого требует новых навыков, зачастую не связанных с наукой — от умения находить гранты до успешной продажи продукта своего труда. Огромным вызовом стал ИИ, который справляется со многими задачами быстрее человека. Центр научной интеграции НИУ ВШЭ организовал вебинар «Ученые и искусственный интеллект», посвященный профессиональной идентичности исследователя в условиях стремительной цифровизации и технологических трансформаций. Подробнее — в материале HSE Daily.
Вышка доверит ИИ рутинную работу по созданию программ ДПО
НИУ ВШЭ совместно с EdTech-компанией CDO Global запускает AI-конструкторы для оптимизации разработки курсов дополнительного профессионального образования (ДПО). Новый сервис позволит автоматизировать подготовку учебных материалов и оценочных средств, значительно сократив время и ресурсы, затрачиваемые преподавателями и методистами.
ВШЭ и Московский аналитический центр объединят усилия в сфере ИИ
НИУ ВШЭ подписал соглашение о сотрудничестве с ГБУ «Московский аналитический центр». Документ закрепил намерение сторон развивать совместные исследования и внедрять технологии искусственного интеллекта в управление городским хозяйством.
Руководители «Билайна» прокачивают навыки работы с ИИ на базе НИУ ВШЭ
В Центре непрерывного образования факультета компьютерных наук НИУ ВШЭ стартовала программа повышения квалификации для руководителей компании «Вымпелком» «Лаборатория ИИ: Вместе быстрее». В ее работе примут участие сотрудники компании из разных городов страны, которые будут повышать компетенции по внедрению ИИ в бизнес-процессы.
Вузы разделились на шесть лагерей в отношении к искусственному интеллекту
Каким должно быть образование в эпоху ИИ? Чтобы разобраться, какие есть точки зрения и какие решения уже формируются, команда Института образования ВШЭ весной 2025 года провела серию интервью с проректорами российских университетов. Об итогах этого исследования рассказывает директор института Евгений Терентьев.
НИУ ВШЭ стал абсолютным лидером рейтинга вузов по подготовке кадров для ИИ
Альянс в сфере искусственного интеллекта опубликовал обновленный рейтинг вузов по качеству подготовки специалистов в области ИИ. В него вошли 203 российских университета из 68 регионов. Высшая школа экономики первой получила наивысшую категорию А++.
ВШЭ и МТС будут вместе бороться с дипфейками и научат искусственный интеллект создавать новое видео под запросы пользователей
НИУ ВШЭ и компания МТС Web Services (MWS) объявили о запуске серии совместных исследовательских работ в области технологий искусственного интеллекта, направленных на развитие инновационных решений в сфере кибербезопасности, мультимодальной генерации контента и анализа больших данных. Основным исполнителем проекта является Московский институт электроники и математики им. А.Н. Тихонова НИУ ВШЭ при общей координации Центра искусственного интеллекта ВШЭ.
11 вузов России стали участниками проекта ВШЭ и «Яндекса» по применению ИИ при подготовке дипломных работ
Эксперты «Яндекс Образования» и факультета компьютерных наук НИУ ВШЭ научили студентов и научных руководителей использовать нейросеть YandexGPT в трудоемких задачах — для анализа источников, структурирования информации, визуализации данных и работы с текстом в процессе подготовки дипломов.