Какая нейросеть самая умная? Ранжирование искусственного интеллекта по IQ

Достоверность результатов

«Значительные отличия GPT4 от предыдущей версий — это высокая креативность (особенно в области сложных или мультиязычных задач), мультимодальность, безопасность (разработчиками были инвестированы огромные усилия в повышение безопасности генерируемого контента) и понимание контекста (возможность задавать и удерживать контекст диалога при решении сложных задач)», — говорит Прохоров.

Помимо этого нейросети прошли лишь один IQ-тест, а их гораздо больше. Логичнее будет судить превосходство ИИ над человеком в прикладных задачах. То, что нейросети будут со временем только лучше проходить подобные тесты, не удивило эксперта, потому что логической части в нейросетях уделяют много времени при разработке.

GPT-4 стала мультимодальной и теперь понимает не только тексты, но и изображения в качестве вводимой информации. Причем возможности GPT-4 при считывании изображений выходят за рамки простой интерпретации. Во время демонстрации своих возможностей модель распознала эскиз сайта, нарисованный от руки в качестве техзадания, написала HTML-код и JavaScript и превратила эскиз в веб-сайт.

Максим Лотт предположил, что по закону Мура через 1-2 года ИИ сможет достигнуть результатов в 140 баллов на IQ-тесте. Закон Мура — количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца. Простым языком закон говорит о неизбежности развития технологий: чем больше они развиты на данный момент, тем в два раза быстрее они придут к новым свершениям.

Закрытый подход является самым заметным за последнее годы изменением политики OpenAI, которая была основана в 2015 году небольшой группой экспертов и бизнесменов, и в которую входили нынешний генеральный директор Сэм Альтман, генеральный директор Tesla Илон Маск (ушел из совета директоров в 2018 году) и исследователь ИИ Илья Суцкевер. Изначально OpenAI позиционировалась, как некоммерческая организация, но позже стала «компанией с ограниченной прибылью». Это было сделано для того чтобы обеспечить миллиардные инвестиции от Microsoft, с которой было заключено эксклюзивное партнерство. На вопрос издания The Verge, почему OpenAI изменила свой подход к публикации своих исследований, главный научный сотрудник и соучредитель OpenAI Суцкевер ответил: » Если вы, как и мы, верите, что в какой-то момент ИИ — станет чрезвычайно, невероятно мощным, тогда в открытом исходном коде просто нет смысла. Это плохая идея… Я полностью ожидаю, что через несколько лет всем станет совершенно очевидно, что ИИ с открытым исходным кодом просто неразумен».

Однако, несмотря на впечатляющие характеристики GPT4, у сообщества ИИ-разработчиков возникли вопросы к Open AI, которая практически не предоставила никакой информации о данных, используемых для обучения системы, затратах на разработку и обучение, характеристиках оборудования и методах, использованных для создания GPT-4.

GPT-4 понимает очень сложные запросы, сформулированные на 26 языках с большим количеством нюансов. Этого удалось добиться благодаря увеличению лимита слов в запросе. Модель обрабатывает до 25 тысяч слов (GPT-3.5 ограничена 8 тысячами). Более чем трехкратное увеличение напрямую влияет на детализацию, которую можно использовать при постановке задач. Глубину понимания запросов и контекста ярко демонстрируют успешно сданные нейросетью экзамены и стандартизированные тесты в коллегию адвокатов, университеты и другие организации. GPT-4 проходила тесты и сдавала экзамены без специальной подготовки и дообучения. При этом она не только получила высокий балл по всем направлениям, но и превзошла более чем 70% людей.

Генеральный директор компании Digital Consulting Solutions Александр Скоморохин считает, что Open AI отказались от раскрытия исследовательских материалов по причинам безопасности кода и что важную роль сыграли опасения по поводу конкурентов. «Последние годы IT-гиганты активно инвестируют в Open AI, что говорит о том, что компания постепенно теряет свою некоммерческую составляющую, которая предполагала открытое сотрудничество с академическими учреждениями и исследовательскими организациями. Все больше компаний хотят делать похожий продукт, так что решение Open AI изменить свой подход к публикации исследований выглядит как ответ на нарастающую рыночную конкуренцию», — считает глава Digital Consulting Solutions.

Кто лидирует?

GPT-4 — четвертая версия большой языковой нейросетевой модели от компании Open AI. Несмотря на то, что GPT-4 самая мощная и совершенная версия искусственного интеллекта, ее презентация вызвала не только восторг специалистов по работе с данными, но и вопросы к Open AI.

Copilot должен помочь пользователям Microsoft 365 подводить итоги встреч, писать эссе и заметки на основе данных из других приложений Microsoft и аналитики из Microsoft Graph. Также в его задачи входит подготовка презентации на основе текстов, отправка приглашений и другие задания. Пока Copilot существует только в тестовой версии.

GPT-4 также встроили в чаты на платформе изучения иностранных языков Duolingo и в сервис электронных платежей Stripe. Модель используется в образовательной организации Khan Academy и в мобильном приложении Be My Eyes, которое помогает плоховидящим посредством видеозвонков. Функция «Виртуальный волонтер», которую планируют интегрировать в Be My Eyes, будет содержать генератор голосового описания изображений.

Искусственный интеллект постепенно заполняет интернет, стабильно появляются новые возможности и он быстро развивается. Однако оценить его мощь все еще сложно. Журналист Максим Лотт опубликовал результаты IQ-тестов, в которых участвовали нейросети. Давайте разберемся, какой ИИ ближе всего к превосходству человека и что за закон Мура, о котором все сейчас говорят.

Тест был проведен дважды, чтобы стабилизировать разброс результатов. Первое место заняла claude-3, набрав 101 балл, это среднестатистический результат для человека. На второе место ступает chat-gpt с результатом 85 баллов, этот результат тоже присущ многим людям. И топ-3 закрывает claude-2 с баллом 82.

Многие в сообществе ИИ раскритиковали это решение, отметив, что оно подрывает дух компании OpenAI, как исследовательской организации и затрудняет повторение ее работы другими исследователями. Также важно, что это мешает разработке средств защиты от угроз, исходящих от такой мощной ИИ-системы, как GPT-4. Эксперты отмечают, что ИИ прогрессирует столь быстро, что бизнес, сообщество и государство не успевают адекватно оценить уровень рисков, который несут подобные нейросети.