Как установить и использовать ИИ-ассистента на своем компьютере

Почему следует выбрать курсы GeekBrains

GeekBrains — это ведущая образовательная онлайн-платформа в русскоязычном пространстве. Над курсами GB работают опытные преподаватели, которые отлично разбираются в теории и могут похвастаться практическими достижениями, а значит, на личном опыте расскажут, как создают ИИ. Программа обучения построена таким образом, чтобы у пользователей оставалось время на работу и личную жизнь. Кроме того, GB поможет войти в профессию. Для этого площадка обеспечивает все условия:

Угрозы от подобных инцидентов зависят от того, для каких целей применяются ИИ-помощники. Если вы генерируете милые иллюстрации к сказкам собственного сочинения или просите у ChatGPT составить план трехдневной экскурсионной поездки в столицу, вряд ли утечка сможет нанести вам серьезный ущерб. Если ваша переписка с чат-ботом потенциально может содержать конфиденциальные фрагменты — персональные данные, пароли или номера банковских карт, — допускать утечку в облако уже нельзя. Но ее относительно легко предотвратить, предварительно отфильтровав данные, и об этом у нас есть отдельный пост.

Приложения, перечисленные выше, выполняют все вычисления полностью локально, не отправляют данные на серверы и могут запускаться вообще без Интернета, поэтому в них можно без опаски обрабатывать конфиденциальную информацию. Но, чтобы полностью застраховаться от утечки, нужно убедиться, что данные не утекут не только из языковой модели, но и просто из вашего компьютера — а тут на помощь придет наше комплексное защитное решение. Его немаловажное достоинство при работе с локальными ИИ-моделями в том, что Kaspersky Premium практически не влияет на производительность компьютера, что неоднократно подтверждалось независимыми тестами.

Прежде всего стоит отметить, что искусственный интеллект — это достаточно размытый термин, однозначного определения нет по сей день. В 1956 году, когда на научном семинаре в Дартмуте впервые прозвучало это словосочетание, в него вкладывалось значение, которое существенно отличалось от современного. В те годы искусственный интеллект рассматривался как некая сущность, которая сможет выполнять перевод текстов с одного языка на другой, производить распознавание объектов по фотографии или видеозаписи, понимать человеческую речь и соответственно на нее отвечать. Современный ИИ способен делать все вышеперечисленное. Однако чем больших успехов удавалось достичь, тем больше требований выдвигалось к ИИ.

Многие уже опробовали генеративные нейросети и нашли им регулярное применение, в том числе на работе. Так, ChatGPT и его аналоги периодически используют почти 60% американцев (и далеко не всегда — с разрешения начальства). При этом все данные — как запросы пользователя, так и ответы модели — сохраняются на серверах OpenAI, Google и других. Для задач, в которых подобная утечка информации неприемлема, отказываться от ИИ вовсе не обязательно — просто нужно приложить некоторые усилия (и, возможно вложить деньги) и запускать нейросеть локально, на собственном компьютере. Сегодня это возможно даже на ноутбуках!

Выбирая ИИ-модель, следует в первую очередь ознакомиться с ее системными требованиями. Поисковый запрос вроде «имя_модели requirements» поможет оценить, стоит ли вообще скачивать эту модель с учетом имеющегося железа. Детально изучить влияние объема памяти, CPU и GPU на работу разных моделей можно, например, здесь.

Хорошая новость для тех, у кого нет доступа к мощному оборудованию, — существуют упрощенные ИИ-модели, способные решать практические задачи даже на старом железе. А если ваша видеокарта совсем простая и слабая, то возможно использовать модели и среды их запуска, использующие только центральный процессор. В зависимости от задач они могут даже обеспечивать приемлемую скорость работы.

Большинство открытых моделей опубликованы на Hugging Face, но просто скачать их на компьютер недостаточно. Для запуска нужно установить специализированное ПО, например LLaMA.cpp или — что даже проще — ее «обертку» LM Studio. Последняя позволяет прямо из приложения выбрать нужную модель, скачать ее и запустить в диалоговом окне.

Выбор ИИ-модели и волшебство квантизации

Языковых моделей на сегодня разработано множество, но значительная часть из них не имеет широкой практической применимости. Тем не менее существуют удобные и общедоступные ИИ-инструменты, хорошо подходящие для решения конкретных задач, будь то генерация текстов (например, Mistral 7B) или создание фрагментов кода (например, Code Llama 13B). Поэтому при выборе модели необходимо сузить выбор до нескольких принципиально подходящих кандидатов, а затем убедиться, что ресурсов вашего компьютера хватит для их запуска.

На этой неделе в открытом доступе появилась бета-версия еще одного многообещающего инструмента, Chat With RTX от NVIDIA. Производитель самых востребованных чипов для AI представил локальный чат-бот, способный пересказывать содержимое видеороликов с YouTube, обрабатывать коллекции документов и многое другое — при наличии у пользователя Windows-компьютера с 16 Гб памяти и видеокартой NVIDIA RTX 30-й или 40-й серии с восемью и более гигабайтами видеопамяти. «Под капотом» — все те же разновидности Mistral и Llama2 с Hugging Face. Разумеется, мощные видеокарты позволяют повысить производительность генерации, но, по отзывам первых тестеров, существующая бета достаточно громоздка (около 40 Гб) и сложна в установке. Однако в будущем Chat With RTX от NVIDIA может оказаться очень многообещающим локальным ИИ-ассистентом.

Чаще всего можно услышать, что искусственный интеллект подразумевает способность электронной вычислительной машины анализировать данные и принимать решения в соответствии с принципами, по которым функционирует человеческий мозг. Таким образом, от нейросети мы вправе требовать умения обучаться и применять свои знания на практике. Современный искусственный интеллект успешно справляется с этими задачами.

В качестве стартовой планки можно ориентироваться на компьютеры, которые считались относительно мощными в далеком 2017 году: процессоры не ниже Core i7 с поддержкой инструкций AVX2, 16 Гб оперативной памяти и видеокарты с 4 Гб памяти. Для любителей Mac подойдут модели на базе Apple Silicon M1 и более новые, а требования к памяти не изменятся.

Вы наверняка читали, что для работы с нейросетями нужны сверхмощные видеокарты, но на практике это не всегда так. Разные ИИ-модели в зависимости от своей специфики могут быть требовательны к таким компонентам компьютера, как память, видеопамять, диск, процессор (важна не только скорость обработки информации, но и поддержка процессором некоторых векторных инструкций). От объема оперативной памяти зависит сама возможность загрузить модель, от объема видеопамяти — размер «контекстного окна», то есть памяти о предыдущем диалоге. Как правило, при использовании слабых видеокарт и центрального процессора генерация идет с черепашьей скоростью (1–2 слова в секунду для текстовых моделей), поэтому компьютер с минимальной конфигурацией подойдет лишь для ознакомления с той или иной моделью и оценки ее принципиальной пригодности. Для полноценного повседневного применения потребуется увеличение объема памяти, обновление видеокарты или выбор другой, более шустрой ИИ-модели.

Основной объем памяти в любой нейросети съедают веса — числовые коэффициенты, описывающие работу каждого нейрона в сети. Изначально при обучении модели веса вычисляются и хранятся в виде дробных чисел с большой точностью. Но оказалось, что при округлении веса в обученной модели качество ее работы снижается незначительно, зато позволяет запустить ИИ-инструмент на обычных компьютерах. Этот процесс округления называется квантизацией, и благодаря ему возможно сократить размер модели в десятки раз — вместо 16 бит каждый вес занимает 8, 4 или даже 2 бита.