ChatGPT, RT-1, PaLM-E и другие нейросети, которые приближают восстание машин

Апокалипсис отменяется?

Это обработка визуальной информации для получения знаний. Базовая задача внутри этой технологии — детектирование объекта на изображениях и видео, то есть осознание того, что на одной фотографии в углу изображен автомобиль, а на другой — компьютер, клавиатура и телефон. В робототехнике результаты обнаружения объектов дают роботу понимание, что и как делать, а также способствуют его обучению.

Отдаленно эта технология схожа с принятием решений, но мы выделили ее отдельным пунктом. Причина — потенциал широкого применения именно рекомендательных систем в сервисной робототехнике. Речь идет о предложении товаров и услуг, таргетированной рекламе, подборке кинофильмов и музыки. Применительно же к роботам технология может привести к распространению роботов-официантов или продавцов-консультантов.

Чтобы исправить подобный «недуг», исследователи из Microsoft расположили между камерой робота и ChatGPT дополнительную нейросеть YOLO , играющую роль поводыря. Она, вместе с другими датчиками, способна распознавать предметы, определять расстояние до них и переводить эту информацию в текст. Полученное таким образом описание внешнего мира подавалось в ИИ ChatGPT.

Коммуникация с человеком невозможна без понимания его языка. Специалисты в области ИИ разбирают по частям отдельные морфемы, даже эмоциональный окрас слов в тексте, зашивая это в программу. Роботы нуждаются в таких технологиях, для них это как диалоговое окно с человеком, причем речь идет не просто о понимании, но и об ответной реакции и обучении новым понятиям.

Новый метод, основанный на визуальных «галлюцинациях», получил имя ROSIE (от Scaling Robot Learning with Semantically Imagined Experience) в честь робота «Рози» из мультфильма «Джетсоны». Статья с его описанием была опубликована в феврале 2023 года.

Команда, создавшая десятки прорывных технологий, попала «под нож» в феврале 2023 года в рамках кампании Google по сокращению расходов, предполагающей увольнение 12 тысяч сотрудников и ликвидацию отделов, не приносящих прибыль. Не иначе, кто-то из будущего решил вмешаться в нашу реальность и вызвать экономический кризис, чтобы остановить развитие роботов.

Человеку на это требуется много времени и усилий; кроме того, приходится изучать внутреннее устройство механизма, для которого создаётся код. ChatGPT позволяет значительно упростить процесс — теперь люди могут выдавать команды на естественном языке (английский, русский и так далее), а нейросеть сама преобразует их в соответствующий код.

Поскольку в основе ChatGPT лежит языковая модель, он обладает недостатком, вытекающим из её природы, — не может видеть. В предыдущих примерах чат-бот давал указания роботам, оснащённым камерами. В человеческом понимании ChatGPT напоминает слепого мудреца, дающего письменные указания зрячим работникам.

PaLM-SayCan и PaLM-E: воплощённый ИИ от Google

Чтобы обучить нейросеть, исследователям потребовалось собрать огромное количество тренировочных данных — более 130 тысяч аннотированных видеороликов. На них было запечатлено, как робот многократно выполнял 700 типовых задач в лаборатории, имитирующей обстановку на обычной кухне.

В одном из тестовых примеров исследователь попросил робота принести ему газировку. Когда машина обнаружила банку колы и попыталась схватить её, человек незаметно убрал напиток со стола. Робот в недоумении пообщался сам с собой и с человеком, задав уточняющие вопросы, оценил изменившуюся обстановку и скорректировал план действий. В результате механический помощник нашёл другую банку с напитком и подал её.

— промышленные роботы. На производстве они применяются уже достаточно долго (например, высокоточные станки или манипуляторы для сборки машин), но технологии ИИ начали проникать сюда недавно, например машинное обучение роботов, призванных корректировать работу сервомоторов, или же использование компьютерного зрения для оценки того, как лучше упаковать продукт;

Если обработка языка касается текстовой информации, то речевая аналитика — звуковой. В первую очередь это распознавание речи, которое к 2019 году уже прочно вошло в быт людей. Следующий шаг — синтез речи, совершенствование голосовых качеств самого робота и/или программы до уровней человеческого общения.

Авторы различают три вида внутренних разговоров, происходящих в рамках Inner Monologue: пассивное описание обстановки, активное описание обстановки и обнаружение успеха. Пассивное описание даёт ИИ выраженное словами представление, например, о результатах распознавания объектов. Робот как бы говорит сам себе: «Вот я вижу перед собой стол, на нём лежат яблоко, шоколадка и пакетик чипсов».

Сильного ИИ в природе пока не существует и вообще есть обоснованные сомнения в возможности его реализации. Поэтому искусственный интеллект сейчас и в ближайшем будущем — это слабый ИИ, занимающийся отдельными проблемами и задачами. Решить их помогает набор технологий.