Какая нейросеть самая умная? Ранжирование искусственного интеллекта по IQ

Достоверность результатов

Генеральный директор компании Digital Consulting Solutions Александр Скоморохин считает, что Open AI отказались от раскрытия исследовательских материалов по причинам безопасности кода и что важную роль сыграли опасения по поводу конкурентов. «Последние годы IT-гиганты активно инвестируют в Open AI, что говорит о том, что компания постепенно теряет свою некоммерческую составляющую, которая предполагала открытое сотрудничество с академическими учреждениями и исследовательскими организациями. Все больше компаний хотят делать похожий продукт, так что решение Open AI изменить свой подход к публикации исследований выглядит как ответ на нарастающую рыночную конкуренцию», — считает глава Digital Consulting Solutions.

Искусственный интеллект постепенно заполняет интернет, стабильно появляются новые возможности и он быстро развивается. Однако оценить его мощь все еще сложно. Журналист Максим Лотт опубликовал результаты IQ-тестов, в которых участвовали нейросети. Давайте разберемся, какой ИИ ближе всего к превосходству человека и что за закон Мура, о котором все сейчас говорят.

GPT-4 также встроили в чаты на платформе изучения иностранных языков Duolingo и в сервис электронных платежей Stripe. Модель используется в образовательной организации Khan Academy и в мобильном приложении Be My Eyes, которое помогает плоховидящим посредством видеозвонков. Функция «Виртуальный волонтер», которую планируют интегрировать в Be My Eyes, будет содержать генератор голосового описания изображений.

«Значительные отличия GPT4 от предыдущей версий — это высокая креативность (особенно в области сложных или мультиязычных задач), мультимодальность, безопасность (разработчиками были инвестированы огромные усилия в повышение безопасности генерируемого контента) и понимание контекста (возможность задавать и удерживать контекст диалога при решении сложных задач)», — говорит Прохоров.

Многие в сообществе ИИ раскритиковали это решение, отметив, что оно подрывает дух компании OpenAI, как исследовательской организации и затрудняет повторение ее работы другими исследователями. Также важно, что это мешает разработке средств защиты от угроз, исходящих от такой мощной ИИ-системы, как GPT-4. Эксперты отмечают, что ИИ прогрессирует столь быстро, что бизнес, сообщество и государство не успевают адекватно оценить уровень рисков, который несут подобные нейросети.

Copilot должен помочь пользователям Microsoft 365 подводить итоги встреч, писать эссе и заметки на основе данных из других приложений Microsoft и аналитики из Microsoft Graph. Также в его задачи входит подготовка презентации на основе текстов, отправка приглашений и другие задания. Пока Copilot существует только в тестовой версии.

OpenAI потратила шесть месяцев на то, чтобы сделать GPT-4 более безопасным и согласованным. Компания утверждает, что вероятность ответа на запросы с неприемлемым или запрещенным контентом снизилась на 82%. Также на 29% стала выше вероятность ответа на конфиденциальные запросы в соответствии с политиками OpenAI, и на 40% повысилась вероятность предоставления фактических ответов по сравнению с GPT-3,5.

Максим Лотт предположил, что по закону Мура через 1-2 года ИИ сможет достигнуть результатов в 140 баллов на IQ-тесте. Закон Мура — количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца. Простым языком закон говорит о неизбежности развития технологий: чем больше они развиты на данный момент, тем в два раза быстрее они придут к новым свершениям.

Кто лидирует?

Однако, несмотря на впечатляющие характеристики GPT4, у сообщества ИИ-разработчиков возникли вопросы к Open AI, которая практически не предоставила никакой информации о данных, используемых для обучения системы, затратах на разработку и обучение, характеристиках оборудования и методах, использованных для создания GPT-4.

GPT-4 — четвертая версия большой языковой нейросетевой модели от компании Open AI. Несмотря на то, что GPT-4 самая мощная и совершенная версия искусственного интеллекта, ее презентация вызвала не только восторг специалистов по работе с данными, но и вопросы к Open AI.

Стоит ли беспокоиться по поводу таких впечатляющих результатов и многообещающих прогнозов? Федор Чемашкин — технический директор компании «Яков и партнеры» — заявил, что IQ-тесты не обходятся без психоэмоционального состояния, которого у ИИ быть не может, поэтому нейросети придерживаются только заложенного в них логического мышления. Также есть подозрения, что какие-то задатки IQ-теста были применены при разработке искусственного интеллекта.

Закрытый подход является самым заметным за последнее годы изменением политики OpenAI, которая была основана в 2015 году небольшой группой экспертов и бизнесменов, и в которую входили нынешний генеральный директор Сэм Альтман, генеральный директор Tesla Илон Маск (ушел из совета директоров в 2018 году) и исследователь ИИ Илья Суцкевер. Изначально OpenAI позиционировалась, как некоммерческая организация, но позже стала «компанией с ограниченной прибылью». Это было сделано для того чтобы обеспечить миллиардные инвестиции от Microsoft, с которой было заключено эксклюзивное партнерство. На вопрос издания The Verge, почему OpenAI изменила свой подход к публикации своих исследований, главный научный сотрудник и соучредитель OpenAI Суцкевер ответил: » Если вы, как и мы, верите, что в какой-то момент ИИ — станет чрезвычайно, невероятно мощным, тогда в открытом исходном коде просто нет смысла. Это плохая идея… Я полностью ожидаю, что через несколько лет всем станет совершенно очевидно, что ИИ с открытым исходным кодом просто неразумен».

GPT-4 понимает очень сложные запросы, сформулированные на 26 языках с большим количеством нюансов. Этого удалось добиться благодаря увеличению лимита слов в запросе. Модель обрабатывает до 25 тысяч слов (GPT-3.5 ограничена 8 тысячами). Более чем трехкратное увеличение напрямую влияет на детализацию, которую можно использовать при постановке задач. Глубину понимания запросов и контекста ярко демонстрируют успешно сданные нейросетью экзамены и стандартизированные тесты в коллегию адвокатов, университеты и другие организации. GPT-4 проходила тесты и сдавала экзамены без специальной подготовки и дообучения. При этом она не только получила высокий балл по всем направлениям, но и превзошла более чем 70% людей.

GPT-4 стала мультимодальной и теперь понимает не только тексты, но и изображения в качестве вводимой информации. Причем возможности GPT-4 при считывании изображений выходят за рамки простой интерпретации. Во время демонстрации своих возможностей модель распознала эскиз сайта, нарисованный от руки в качестве техзадания, написала HTML-код и JavaScript и превратила эскиз в веб-сайт.

Тест был проведен дважды, чтобы стабилизировать разброс результатов. Первое место заняла claude-3, набрав 101 балл, это среднестатистический результат для человека. На второе место ступает chat-gpt с результатом 85 баллов, этот результат тоже присущ многим людям. И топ-3 закрывает claude-2 с баллом 82.

Помимо этого нейросети прошли лишь один IQ-тест, а их гораздо больше. Логичнее будет судить превосходство ИИ над человеком в прикладных задачах. То, что нейросети будут со временем только лучше проходить подобные тесты, не удивило эксперта, потому что логической части в нейросетях уделяют много времени при разработке.