Нейросети для телефона
Flutter!
Я уже писал большую статью о том как запускать нейронные сети на телефонах. Точнее, статья была про разные аппаратные платформы и библиотеки выполнения нейронных сетей. Но, она абсолютно не рассматривала вопрос запуска нейронных сетей. Ведь библиотеку можно позвать из разных сред, можно из Java разрабатывая на Android studio/Eclipse/Idea. Можно на с++ модулях. Можно из JS, сделав веб-страничку (кстати, на эту тему я тоже делал ролик, а на Хабре была не моя неплохая статья на эту тему). А можно и другими способами.
В этой статье я чуть подробнее расскажу те способы которые мне нравятся и понятны.
Это приложение для изучения языка, которое поможет подготовиться к таким экзаменам, как IELTS и TOEFL. Elsa фокусируется на улучшении произношения для общения и делает это с помощью ИИ и распознавания голоса. Приложение записывает голоса пользователей и интеллектуально изучает их. Затем вы можете получать обратную связь в режиме реального времени по своим произнесенным фразам, используя визуальные подсказки, которые указывают, какие части этого слова вы поняли правильно.
Что использовать как среду для написания? Unity я не тестировал, скорее всего как-нибудь опробую. Из остальных двух – думаю что надо смотреть свои предпочтения по кодингу. Мне очевидно проще заходит flutter. Но смотря как просто и быстро многие пишут на JS – может быть это и разумнее. Плюс, он поддерживает куда больше платформ.
Трудно говорить о нейросетях для смартфона и не упомянуть Bing от Microsoft. Недавно обновленная поисковая система теперь обладает мощью GPT-4 и способна выполнять очень много действий. В отличие от ChatGPT, Bing AI может получать доступ к Интернету. Изначально нейросеть была доступна избранным, а сейчас ей бесплатно могут воспользоваться все желающие.
Второй способ просто использовать модели на мобильных платформах появился в 2019 году, но пользоваться им мы стали лишь в начале 2020. В своей статье я описывал плюсы и минусы такого подхода. В целом – это очень неплохой способ для большинства не нагруженных моделей.
Копируйте строки и абзацы слов, написанных в ваших книгах, распознавайте цветы, картины, животных и любые объекты, добавляйте контакты, находите компании и бизнесы, сканируя визитные карточки. Сканируйте URL сайтов со своего компьютера, чтобы открывать сайты на мобильных устройствах.
Musixmatch
Приложение работает на основе ChatGPT, который умеет многое: и поговорить, и ответить на вопросы, и написать текст. Приложение не отстаёт от нейросети. Тут можно писать любые запросы и задания даже на русском языке. Nova AI поймёт и напишет ответ, а может даже проговорить его.
Приложение — находка для блогеров и создателей контента. Искусственный интеллект обрабатывает фото, делая их более качественными и яркими. Здесь можно удалить фон, отфотошопить фотографию, сделать коллаж или добавить рамку. В общем все нужные функции в одном приложении.
Здесь задание нужно писать на английском языке — лучше всего максимально подробно описать, что должно быть на картинке. Также можно описать настройки: какое должно быть освещение, качество — 4К или 8К. Ещё здесь есть стили: мультики, комиксы, импрессионизм, флора.
Когда-то, свое первое приложение на телефон с распознаванием автомобильных номеров я делал именно под Java. Был это год 2012 где-то. Потом, через год с мелочью мы сделали на эту тему небольшую работу и попробовали развить стартап. Как сейчас помню, что потратил неделю на него.
С тех пор я пару раз пробовал повторить успех и запустить TFLite или его аналоги через Android Studio. Но, оба раза ломался на второй вечер. Процесс лишь усложнялся с 2012 года. Бесконечные конфигурационные файлы, указать все в десяти местах. Указать кучу параметры для сборки, указать версию андроида, и.т.д., и.т.п.
Аааа, паника.
С русским языком Nova AI работает лучше, чем ChatGPT — тот часто выдаёт ошибку. А Nova AI справляется с заданиями на русском языке и даже проговаривает их. Правда, в день есть только 3 запроса. Дальше придётся платить — от 7,99 $ в неделю. У ChatGPT нет платных функций, но он ограничен — хорошо работает только на английском языке.
Также можно просто загрузить картинку в общедоступную галерею, чтобы все могли его увидеть. Можно даже создать собственное видео с ключевыми кадрами по вашему выбору, включая объект. Это приложение с AI создано для людей, которые хотят попробовать снимки, которые нелегко выполнить в реальной жизни. Самое приятное то, что Luma AI абсолютно бесплатная.
В этом приложении можно улучшить качество фото: убрать размытие или шумы. Здесь удобно обрабатывать старые снимки. А ещё тут можно раскрасить чёрно-белое фото, есть функция «повышения привлекательности лица». В Remini можно создать аватар — ИИ нарисует портрет по фото.
Приложение Leia разработано компанией Vybe Software LLC как для Android, так и для IOS. Оно позволяет создавать красивые, уникальные и креативные веб-сайты без знания каких-либо языков программирования. И никакие два сайта никогда не будут точно соответствовать друг другу. Говорят, что Leia способна создавать более 1 набора уникальных функций с 303 нулями. Она также предоставляет обширную коллекцию дизайнов DIY для верстки веб-сайтов. В нем есть множество шаблонов для вырезания файлов cookie, вы также можете добавить живой чат на свои веб-сайты.
По распознаванию речи
К сожалению, первые две проблемы делают возможным использовать Unity лишь на простые задачи. Делали.
Готовя эту заметку я нашел достаточно неплохую реализацию полноценного TFlite под Unity. Надо будет попробовать насколько это работает. Обещают что поддерживается аппаратная часть нормально. И под Android и под IOS.
После входа пользователям необходимо нанести объект на карту с помощью камеры своего смартфона и полностью запечатлеть его. Затем Luma AI проводит рендеринг в течение некоторого времени. После пользователи могут использовать этот нанесенный на карту 3D-объект в любой среде по своему выбору.
Статья будет крайне субъективна. Понятно, что разрабатывая всю жизнь на Java под Android Studio – вам проще будет вызвать нейронку там. Но, если вам, как и мне, не очень знакома мобильная разработка, это может быть интересно. Среднее время запустить все что я тут привожу – один вечер. А это значит – возможность экспериментировать, создать быстрый прототип или самому проверить идею.
TFlite доступен. Но тут важно не перепутать. Есть два tflite под flutter. Один – набор готовых сетей за рамки которого сложно выйти. Достаточно кустарно, но запускается. Зато просто написан. Если вам подойдет какая-то из сетей, то норм. Подключить новую почти не реально.
Второй – какой-то полуофициальной, где-то на официальном форуме его советуют (и Flutter и TFlite – детища гугла). Тут полноценная поддержка TFlite и любой модели. Авторы так же выложили TFLite_Helper – библиотеку для простейшего препроцессинга изображения. Это значительно ускоряет, не заставляя тратить время на что-то простое..
В какой-то момент я почитал пару статей про Flutter. И проперся. По сути он делал то же самое что Unity, но для телефонов. Простейшее приложение создается из коробки и пишется в пару строчек.
Больше всего это мне напомнило детство, когда я увидел в восьмом классе Visual Basic и понял, что не надо больше мучиться с непонятными консолями чтобы запустить свою программу. Можно нажать кнопку и сразу будет такая же форма как у взрослых дядей.
Приложения для смартфона на основе искусственного интеллекта служат различным целям. Заинтересованные лица преследуют свои цели для использования мобильных утилит AI. Предприятия стремятся интегрировать смарт-технологии в свой бизнес или приложения для множества целей, например, здравоохранение, гостиничный бизнес, игры, здоровье, фитнес и многое другое.
Это ещё одно приложение для создания иллюстраций. Wombo Dream устроено чуть сложнее Шедеврума, но и результат здесь интереснее, особенно на платном тарифе. Без оплаты тарифа можно сгенерировать картинку, но только за один запрос получаем одно изображение вместо четырёх.
Ещё приложения умеют рисовать: Шедеврум, Wombo Dream. Nova AI вообще умеет многое: подскажет как пройти по нужному маршруту, подберёт рецепт блюда, составит список книг или фильмов по интересам. А Musixmatch подходит для автоматического отображения текстов или переводов к трекам.
