Как установить и использовать ИИ-ассистента на своем компьютере

ELSA – Learn English Speaking (бесплатное)

Google Assistant учится на ваших запросах и предпочтениях, становясь все более эффективным. Приложение доступно на различных платформах, включая iOS, и может помочь не только с бытовыми задачами, но и развлечь вас, например, рассказать анекдот. Google Assistant имеет более миллиарда скачиваний и оценку 4.0 из 5 звезд в Google Play Store.

Многие уже опробовали генеративные нейросети и нашли им регулярное применение, в том числе на работе. Так, ChatGPT и его аналоги периодически используют почти 60% американцев (и далеко не всегда — с разрешения начальства). При этом все данные — как запросы пользователя, так и ответы модели — сохраняются на серверах OpenAI, Google и других. Для задач, в которых подобная утечка информации неприемлема, отказываться от ИИ вовсе не обязательно — просто нужно приложить некоторые усилия (и, возможно вложить деньги) и запускать нейросеть локально, на собственном компьютере. Сегодня это возможно даже на ноутбуках!

Основное преимущество ELSA — инновационная технология распознавания речи, которая выявляет ошибки и помогает улучшить произношение. Приложение предлагает разнообразные упражнения для пользователей с разным уровнем языка — от базовой фонетики до сложных речевых техник.

Если генерация идет слишком медленно, то, вероятно, нужна модель с более грубой квантизацией (2 бита вместо 4). Если генерация обрывается или возникают ошибки исполнения, то проблема зачастую кроется в нехватке памяти — стоит поискать модель с меньшим числом параметров или опять же с более грубой квантизацией.

Приложения, перечисленные выше, выполняют все вычисления полностью локально, не отправляют данные на серверы и могут запускаться вообще без Интернета, поэтому в них можно без опаски обрабатывать конфиденциальную информацию. Но, чтобы полностью застраховаться от утечки, нужно убедиться, что данные не утекут не только из языковой модели, но и просто из вашего компьютера — а тут на помощь придет наше комплексное защитное решение. Его немаловажное достоинство при работе с локальными ИИ-моделями в том, что Kaspersky Premium практически не влияет на производительность компьютера, что неоднократно подтверждалось независимыми тестами.

Хорошая новость для тех, у кого нет доступа к мощному оборудованию, — существуют упрощенные ИИ-модели, способные решать практические задачи даже на старом железе. А если ваша видеокарта совсем простая и слабая, то возможно использовать модели и среды их запуска, использующие только центральный процессор. В зависимости от задач они могут даже обеспечивать приемлемую скорость работы.

Выбирая ИИ-модель, следует в первую очередь ознакомиться с ее системными требованиями. Поисковый запрос вроде «имя_модели requirements» поможет оценить, стоит ли вообще скачивать эту модель с учетом имеющегося железа. Детально изучить влияние объема памяти, CPU и GPU на работу разных моделей можно, например, здесь.

Большинство открытых моделей опубликованы на Hugging Face, но просто скачать их на компьютер недостаточно. Для запуска нужно установить специализированное ПО, например LLaMA.cpp или — что даже проще — ее «обертку» LM Studio. Последняя позволяет прямо из приложения выбрать нужную модель, скачать ее и запустить в диалоговом окне.

Выбор ИИ-модели и волшебство квантизации

В качестве стартовой планки можно ориентироваться на компьютеры, которые считались относительно мощными в далеком 2017 году: процессоры не ниже Core i7 с поддержкой инструкций AVX2, 16 Гб оперативной памяти и видеокарты с 4 Гб памяти. Для любителей Mac подойдут модели на базе Apple Silicon M1 и более новые, а требования к памяти не изменятся.

ELSA анализирует речь с помощью ИИ и дает рекомендации по улучшению произношения. Приложение составляет индивидуальный план обучения, основанный на результатах теста, и содержит текстовые материалы, советы и словарь из 1500 наиболее распространенных слов.

Socratic — это ИИ-приложение, предназначенное для школьников и студентов. Оно помогает находить академическую информацию, используя ИИ-алгоритмы для поиска в проверенных источниках. Socratic предоставляет результаты по ключевым словам и помогает в учебе, предлагая материалы в удобном для восприятия виде.

На этой неделе в открытом доступе появилась бета-версия еще одного многообещающего инструмента, Chat With RTX от NVIDIA. Производитель самых востребованных чипов для AI представил локальный чат-бот, способный пересказывать содержимое видеороликов с YouTube, обрабатывать коллекции документов и многое другое — при наличии у пользователя Windows-компьютера с 16 Гб памяти и видеокартой NVIDIA RTX 30-й или 40-й серии с восемью и более гигабайтами видеопамяти. «Под капотом» — все те же разновидности Mistral и Llama2 с Hugging Face. Разумеется, мощные видеокарты позволяют повысить производительность генерации, но, по отзывам первых тестеров, существующая бета достаточно громоздка (около 40 Гб) и сложна в установке. Однако в будущем Chat With RTX от NVIDIA может оказаться очень многообещающим локальным ИИ-ассистентом.

При первом запуске Lensa предлагает короткий инструктаж и загружает несколько фото для анализа. Так приложение подстраивает алгоритмы под предпочтения пользователя. Если фильтров и настроек в бесплатной версии окажется недостаточно, сможете оформить премиум-подписку.

Языковых моделей на сегодня разработано множество, но значительная часть из них не имеет широкой практической применимости. Тем не менее существуют удобные и общедоступные ИИ-инструменты, хорошо подходящие для решения конкретных задач, будь то генерация текстов (например, Mistral 7B) или создание фрагментов кода (например, Code Llama 13B). Поэтому при выборе модели необходимо сузить выбор до нескольких принципиально подходящих кандидатов, а затем убедиться, что ресурсов вашего компьютера хватит для их запуска.