Искусственный интеллект Microsoft превзошел людей в понимании человеческой речи

Искусственный сверхразум

Помимо полутора миллиардов параметров, у DeBERTa есть важное отличие от других ИИ-моделей, тоже сыгравшее свою роль в получении 90,3 балла в SuperGLUE. Этот ИИ по умолчанию учитывает не только значения слов, но и их позиции и роли в предложении. Для примера, в предложении «новый магазин открылся рядом с торговым центром» (a new store opened beside the new mall» он вполне в состоянии понять, что близкие по контекстному значению слово «магазин» (store) и словосочетание «торговый центр» (mall) играют разные синтаксические роли (подлежащим здесь является именно «магазин»).

В тесте SuperGLUE ИИ-модель Microsoft действительно обошла человека, заняв первое место, однако люди расположились не на второй, а лишь на третьей строчке рейтинга. «Серебро» получила еще одна модель искусственного интеллекта – T5 + Meena за авторством Google.

Однако, несмотря на впечатляющие характеристики GPT4, у сообщества ИИ-разработчиков возникли вопросы к Open AI, которая практически не предоставила никакой информации о данных, используемых для обучения системы, затратах на разработку и обучение, характеристиках оборудования и методах, использованных для создания GPT-4.

GPT-4 также встроили в чаты на платформе изучения иностранных языков Duolingo и в сервис электронных платежей Stripe. Модель используется в образовательной организации Khan Academy и в мобильном приложении Be My Eyes, которое помогает плоховидящим посредством видеозвонков. Функция «Виртуальный волонтер», которую планируют интегрировать в Be My Eyes, будет содержать генератор голосового описания изображений.

Copilot должен помочь пользователям Microsoft 365 подводить итоги встреч, писать эссе и заметки на основе данных из других приложений Microsoft и аналитики из Microsoft Graph. Также в его задачи входит подготовка презентации на основе текстов, отправка приглашений и другие задания. Пока Copilot существует только в тестовой версии.

Искусственный интеллект (ИИ) DeBERTa корпорации Microsoft превзошел возможности человека бенчмарке SuperGLUE – тесте на понимание естественного языка. Как сообщили CNews представители Microsoft, он набрал 90,3 балла, тогда как показатели человека находятся на уровне 89,8 балла. Другими словами, отрыв небольшой, но все же он есть.

Эволюция искусственного интеллекта Microsoft

Например, ИИ прочел фразу «ребенок стал невосприимчивым к болезни» (в оригинале – the child became immune to the disease (англ.)). По ней был задан вопрос «в чем причина этого?» (what’s the cause for this?), и DeBERTa предоставили два варианта ответа на него – «он избежал контакта с болезнью» (he avoided exposure to the disease) и «он получил вакцину от болезни» (he received the vaccine for the disease). Хотя человеку легко выбрать правильный ответ, для модели ИИ это сложно. Чтобы получить правильный ответ, модель должна понимать причинно-следственную связь между предпосылкой и двумя (или несколькими) правдоподобными вариантами ответа.

Закрытый подход является самым заметным за последнее годы изменением политики OpenAI, которая была основана в 2015 году небольшой группой экспертов и бизнесменов, и в которую входили нынешний генеральный директор Сэм Альтман, генеральный директор Tesla Илон Маск (ушел из совета директоров в 2018 году) и исследователь ИИ Илья Суцкевер. Изначально OpenAI позиционировалась, как некоммерческая организация, но позже стала «компанией с ограниченной прибылью». Это было сделано для того чтобы обеспечить миллиардные инвестиции от Microsoft, с которой было заключено эксклюзивное партнерство. На вопрос издания The Verge, почему OpenAI изменила свой подход к публикации своих исследований, главный научный сотрудник и соучредитель OpenAI Суцкевер ответил: » Если вы, как и мы, верите, что в какой-то момент ИИ — станет чрезвычайно, невероятно мощным, тогда в открытом исходном коде просто нет смысла. Это плохая идея… Я полностью ожидаю, что через несколько лет всем станет совершенно очевидно, что ИИ с открытым исходным кодом просто неразумен».

Также специалисты Microsoft научили свое детище определять зависимость слов друг от друга. К примеру, DeBERTa понимает, что зависимость между словами «deep» и «learning» гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.

Генеральный директор компании Digital Consulting Solutions Александр Скоморохин считает, что Open AI отказались от раскрытия исследовательских материалов по причинам безопасности кода и что важную роль сыграли опасения по поводу конкурентов. «Последние годы IT-гиганты активно инвестируют в Open AI, что говорит о том, что компания постепенно теряет свою некоммерческую составляющую, которая предполагала открытое сотрудничество с академическими учреждениями и исследовательскими организациями. Все больше компаний хотят делать похожий продукт, так что решение Open AI изменить свой подход к публикации исследований выглядит как ответ на нарастающую рыночную конкуренцию», — считает глава Digital Consulting Solutions.

GPT-4 — четвертая версия большой языковой нейросетевой модели от компании Open AI. Несмотря на то, что GPT-4 самая мощная и совершенная версия искусственного интеллекта, ее презентация вызвала не только восторг специалистов по работе с данными, но и вопросы к Open AI.

Тест SuperGLUE состоит из восьми задач, связанных с пониманием структуры текста, а также его контекста и причинно-следственных связей в нем. При его прохождении DeBERTa (Decoding-enhanced BERT with disentangled attention), помимо прочего, приходилось давать ответы на вопросы по «прочитанному» им абзацу, а также уточнять, правильно ли использовалось то или иное слово, для которого в языке предусмотрено несколько значений, в конкретном контексте.