Как установить и использовать ИИ-ассистента на своем компьютере
Как пользоваться нейросетью GigaChat
На этой неделе в открытом доступе появилась бета-версия еще одного многообещающего инструмента, Chat With RTX от NVIDIA. Производитель самых востребованных чипов для AI представил локальный чат-бот, способный пересказывать содержимое видеороликов с YouTube, обрабатывать коллекции документов и многое другое — при наличии у пользователя Windows-компьютера с 16 Гб памяти и видеокартой NVIDIA RTX 30-й или 40-й серии с восемью и более гигабайтами видеопамяти. «Под капотом» — все те же разновидности Mistral и Llama2 с Hugging Face. Разумеется, мощные видеокарты позволяют повысить производительность генерации, но, по отзывам первых тестеров, существующая бета достаточно громоздка (около 40 Гб) и сложна в установке. Однако в будущем Chat With RTX от NVIDIA может оказаться очень многообещающим локальным ИИ-ассистентом.
Хорошая новость для тех, у кого нет доступа к мощному оборудованию, — существуют упрощенные ИИ-модели, способные решать практические задачи даже на старом железе. А если ваша видеокарта совсем простая и слабая, то возможно использовать модели и среды их запуска, использующие только центральный процессор. В зависимости от задач они могут даже обеспечивать приемлемую скорость работы.
Большинство открытых моделей опубликованы на Hugging Face, но просто скачать их на компьютер недостаточно. Для запуска нужно установить специализированное ПО, например LLaMA.cpp или — что даже проще — ее «обертку» LM Studio. Последняя позволяет прямо из приложения выбрать нужную модель, скачать ее и запустить в диалоговом окне.
Каждая из нейросетей быстро обучается, а разработчики постоянно добавляют новые функции, чтобы не отставать от предыдущих. Но всё же у GigaChat есть выгодное преимущество — генерация картинок. Если пользователю нужна многофункциональная нейросеть, то GigaChat подойдет лучше других — и пост напишет, и изображение к нему нарисует.
Например, логистической компании нужно построить самые быстрые маршруты. Если в качестве исходных данных будет использована информация о маршрутах, которые строили сами водители, нет смысла подключать нейросеть. При выборе они будут опираться на другие факторы. Если использование нейросетей всё же уместно, то для решения основной задачи может использоваться не одна нейросеть, а сразу несколько. В этом случае большая задача разбивается на много мелких.
В основе мультимодальности — взаимодействие нескольких нейросетей. За текст отвечают модели ruGPT-3 и FRED-TP, за генерацию картинок — Kandinsky 2.1 (нейросеть Сбера для генерации картинок), а за оценку семантической близости изображений и текста — ruCLIP. Этот ансамбль назвали NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для обучения ансамбля использовали книги, новости и статьи на русском и английском языках.
Сфера применения
Гигачат может решить почти любые текстовые и задачи по генерации изображений: вести диалог, отвечать на вопросы, даже писать код. Как и YandexGPT, он не отвечает на провокационные и спорные этические вопросы, часто ошибается в фактах, зато его сильная сторона — креатив.
Основной объем памяти в любой нейросети съедают веса — числовые коэффициенты, описывающие работу каждого нейрона в сети. Изначально при обучении модели веса вычисляются и хранятся в виде дробных чисел с большой точностью. Но оказалось, что при округлении веса в обученной модели качество ее работы снижается незначительно, зато позволяет запустить ИИ-инструмент на обычных компьютерах. Этот процесс округления называется квантизацией, и благодаря ему возможно сократить размер модели в десятки раз — вместо 16 бит каждый вес занимает 8, 4 или даже 2 бита.
Например, чтобы научить нейросеть управлять беспилотным автомобилем, нужно смоделировать поведение человека-водителя, который во время движения должен распознавать дорожные знаки и разметку, реагировать на сигналы светофора, прогнозировать поведение других водителей и замечать людей, которые оказались на дороге. Для решения каждой из этих задач в беспилотном автомобиле работает отдельная нейросеть [3] .
Вооруженные этим знанием, вы готовы открыть сокровищницу открытых бесплатных языковых моделей, а именно — топ Open LLM Leaderboard. В этом списке ИИ-инструменты отсортированы по нескольким метрикам качества генерации, а с помощью фильтров легко отключить слишком крупные, слишком мелкие или слишком точные модели.
В 1980-х годах, когда появились более мощные компьютеры для вычислений, исследователи смогли разработать нейросети с двумя и тремя уровнями обучения. Однако возрождение интереса к нейронным сетям и революция в глубоком обучении произошли лишь в последние годы благодаря индустрии компьютерных игр. Современные игры требуют сложных вычислений для обработки большого числа операций. В итоге производители начали выпускать графические процессоры (GPU), которые объединяют тысячи относительно простых вычислительных ядер на одном чипе. Исследователи вскоре поняли, что архитектура графического процессора очень похожа на архитектуру нейросети.
Если вы — клиент Сбера и у вас установлено на телефоне приложение Сбербанк Онлайн, зарегистрироваться будет проще: достаточно сканировать в приложении кьюар-код. Если вы не являетесь клиентом, можно создать учетную запись по номеру телефона — это займет всего пару минут.
Нейронные сети могут использоваться для решения задач из любых отраслей, но есть тонкости. Нейросети хорошо справятся только в тех случаях, когда задача уже была решена другими способами и есть накопленный объём релевантных данных. Новая задача — это область знания, к которой нейросеть вряд ли сможет подступиться. Если помимо данных важен ещё и контекст, лучше решить задачу без помощи нейросетей.
В качестве стартовой планки можно ориентироваться на компьютеры, которые считались относительно мощными в далеком 2017 году: процессоры не ниже Core i7 с поддержкой инструкций AVX2, 16 Гб оперативной памяти и видеокарты с 4 Гб памяти. Для любителей Mac подойдут модели на базе Apple Silicon M1 и более новые, а требования к памяти не изменятся.
Распознавание речи
Впрочем, это лишь любопытное дополнение, если у вас есть доступ к MidJourney или вы генерируете картинки в любой другой нейросети. В остальном функционально GigaChat, YaGPT и ChatGPT практически не отличаются: все три умеют вести диалог, анализировать контекст беседы и генерировать креатив. Но наполнение у них разное, а значит, и ответы существенно отличаются.
Если генерация идет слишком медленно, то, вероятно, нужна модель с более грубой квантизацией (2 бита вместо 4). Если генерация обрывается или возникают ошибки исполнения, то проблема зачастую кроется в нехватке памяти — стоит поискать модель с меньшим числом параметров или опять же с более грубой квантизацией.
✔ Написать новый или поправить существующий код. Да, Гигачат также генерирует код, правда, о его качестве пользователи интернета пока спорят. Но в Базе знаний приводят примеры успешных ответов нейросети, которая сгенерировала код без ошибок. Например:
Полагаться только на нейросети в написании кода не стоит. Одни программы у искусственного интеллекта получаются, другие будут содержать ошибки, поэтому, если вы планируете использовать ИИ для написания программ, код всё равно нужно будет проверять вручную.
ChatGPT от компании OpenAI (мы использовали бесплатную версию на основе GPT 3,5) оказался лучшим в этой тройке — он не просто предложил готовые варианты, а еще и объяснил свой ответ. Кроме того, он предложил варианты названий для магазина, ориентированные на разную целевую аудиторию — здесь и экологичные самокаты, и самокаты для города. GigaChat и YaGPT, конечно, справились, и предложили достойные идеи, но без каких-либо дополнительных пояснений.
GigaChat — российский аналог ChatGPT и тоже работает в формате чата: вы отправляете запрос, а нейросеть на него отвечает. Разработка поддерживает русский и английский языки. Кроме того, GigaChat запоминает детали разговора, ему можно задавать уточнения, а он будет генерировать ответы на вопросы с учетом контекста беседы.
В отличие от нейросети Kandinsky 2.1, в Гигачате возможности несколько ограничены — так, на собственном сайте художественной нейросети можно регулировать границы изображения, менять формат и выбирать стиль (более 10 уже заложены в системе). В Гигачате всё зависит только от того, как вы напишите промт — стиль и детали должны быть указаны в запросе. Так, можно задавать стиль, свет, параметры детализации, например: полный кадр, 32k UHD, мягкий свет.
Пока GigaChat находится на стадии бета-тестирования, а доступ к нему ограничен — инвайты (приглашения) периодически публикуют на канале нейросети в Telegram. Нужно подписаться на него, а также на бот GigaChat`а, отправить ему любое сообщение и… ждать ссылку столько, сколько потребуется. Например, у нас на это ушел месяц, но что ни сделаешь ради статьи для любимых читателей 😉 Использование нейросети пока бесплатно.
