Как установить и использовать ИИ-ассистента на своем компьютере

Musixmatch

Приложения, перечисленные выше, выполняют все вычисления полностью локально, не отправляют данные на серверы и могут запускаться вообще без Интернета, поэтому в них можно без опаски обрабатывать конфиденциальную информацию. Но, чтобы полностью застраховаться от утечки, нужно убедиться, что данные не утекут не только из языковой модели, но и просто из вашего компьютера — а тут на помощь придет наше комплексное защитное решение. Его немаловажное достоинство при работе с локальными ИИ-моделями в том, что Kaspersky Premium практически не влияет на производительность компьютера, что неоднократно подтверждалось независимыми тестами.

Основной объем памяти в любой нейросети съедают веса — числовые коэффициенты, описывающие работу каждого нейрона в сети. Изначально при обучении модели веса вычисляются и хранятся в виде дробных чисел с большой точностью. Но оказалось, что при округлении веса в обученной модели качество ее работы снижается незначительно, зато позволяет запустить ИИ-инструмент на обычных компьютерах. Этот процесс округления называется квантизацией, и благодаря ему возможно сократить размер модели в десятки раз — вместо 16 бит каждый вес занимает 8, 4 или даже 2 бита.

В этом приложении можно улучшить качество фото: убрать размытие или шумы. Здесь удобно обрабатывать старые снимки. А ещё тут можно раскрасить чёрно-белое фото, есть функция «повышения привлекательности лица». В Remini можно создать аватар — ИИ нарисует портрет по фото.

Хорошая новость для тех, у кого нет доступа к мощному оборудованию, — существуют упрощенные ИИ-модели, способные решать практические задачи даже на старом железе. А если ваша видеокарта совсем простая и слабая, то возможно использовать модели и среды их запуска, использующие только центральный процессор. В зависимости от задач они могут даже обеспечивать приемлемую скорость работы.

Вы наверняка читали, что для работы с нейросетями нужны сверхмощные видеокарты, но на практике это не всегда так. Разные ИИ-модели в зависимости от своей специфики могут быть требовательны к таким компонентам компьютера, как память, видеопамять, диск, процессор (важна не только скорость обработки информации, но и поддержка процессором некоторых векторных инструкций). От объема оперативной памяти зависит сама возможность загрузить модель, от объема видеопамяти — размер «контекстного окна», то есть памяти о предыдущем диалоге. Как правило, при использовании слабых видеокарт и центрального процессора генерация идет с черепашьей скоростью (1–2 слова в секунду для текстовых моделей), поэтому компьютер с минимальной конфигурацией подойдет лишь для ознакомления с той или иной моделью и оценки ее принципиальной пригодности. Для полноценного повседневного применения потребуется увеличение объема памяти, обновление видеокарты или выбор другой, более шустрой ИИ-модели.

Вооруженные этим знанием, вы готовы открыть сокровищницу открытых бесплатных языковых моделей, а именно — топ Open LLM Leaderboard. В этом списке ИИ-инструменты отсортированы по нескольким метрикам качества генерации, а с помощью фильтров легко отключить слишком крупные, слишком мелкие или слишком точные модели.

А вот в случаях, когда либо вся переписка конфиденциальна (например, медицинская или финансовая информация), либо же надежность предварительной фильтрации сомнительна (нужно обрабатывать большие объемы данных, которые никто не будет предварительно отсматривать и фильтровать), выход только один — перенести обработку из облака на локальный компьютер. Конечно, запустить свою версию ChatGPT или Midjourney без Интернета вряд ли удастся, но другие нейросети, работающие локально, дают сравнимое качество при меньшей вычислительной нагрузке.

Большинство открытых моделей опубликованы на Hugging Face, но просто скачать их на компьютер недостаточно. Для запуска нужно установить специализированное ПО, например LLaMA.cpp или — что даже проще — ее «обертку» LM Studio. Последняя позволяет прямо из приложения выбрать нужную модель, скачать ее и запустить в диалоговом окне.

Есть ли бесплатные нейросети на Андроид?

Socratic — это приложение, которое помогает в обучении. Здесь пишем вопрос или проговариваем его голосом, а приложение находит обучающие материалы по этой теме или примеры решения задач. Ещё можно сфотографировать вопрос или пример. ИИ распознает его и покажет материалы по этой теме.

Многие уже опробовали генеративные нейросети и нашли им регулярное применение, в том числе на работе. Так, ChatGPT и его аналоги периодически используют почти 60% американцев (и далеко не всегда — с разрешения начальства). При этом все данные — как запросы пользователя, так и ответы модели — сохраняются на серверах OpenAI, Google и других. Для задач, в которых подобная утечка информации неприемлема, отказываться от ИИ вовсе не обязательно — просто нужно приложить некоторые усилия (и, возможно вложить деньги) и запускать нейросеть локально, на собственном компьютере. Сегодня это возможно даже на ноутбуках!

Выбирая ИИ-модель, следует в первую очередь ознакомиться с ее системными требованиями. Поисковый запрос вроде «имя_модели requirements» поможет оценить, стоит ли вообще скачивать эту модель с учетом имеющегося железа. Детально изучить влияние объема памяти, CPU и GPU на работу разных моделей можно, например, здесь.

Приложение работает на основе ChatGPT, который умеет многое: и поговорить, и ответить на вопросы, и написать текст. Приложение не отстаёт от нейросети. Тут можно писать любые запросы и задания даже на русском языке. Nova AI поймёт и напишет ответ, а может даже проговорить его.

Если генерация идет слишком медленно, то, вероятно, нужна модель с более грубой квантизацией (2 бита вместо 4). Если генерация обрывается или возникают ошибки исполнения, то проблема зачастую кроется в нехватке памяти — стоит поискать модель с меньшим числом параметров или опять же с более грубой квантизацией.

Прочитав описание модели и убедившись, что она потенциально подходит для вашего применения, протестируйте ее работу в облаке с помощью сервисов Hugging Face или Google Colab. Это позволит сэкономить время, не загружая модели с не устраивающим вас результатом работы. Если первичный тест модели вас удовлетворил, время проверять, как она работает локально!

Языковых моделей на сегодня разработано множество, но значительная часть из них не имеет широкой практической применимости. Тем не менее существуют удобные и общедоступные ИИ-инструменты, хорошо подходящие для решения конкретных задач, будь то генерация текстов (например, Mistral 7B) или создание фрагментов кода (например, Code Llama 13B). Поэтому при выборе модели необходимо сузить выбор до нескольких принципиально подходящих кандидатов, а затем убедиться, что ресурсов вашего компьютера хватит для их запуска.

Ещё приложения умеют рисовать: Шедеврум, Wombo Dream. Nova AI вообще умеет многое: подскажет как пройти по нужному маршруту, подберёт рецепт блюда, составит список книг или фильмов по интересам. А Musixmatch подходит для автоматического отображения текстов или переводов к трекам.