Криптомайнеры создают ИИ-платформу

Иди со своими запросами к другим

Гонения на российских разработчиков в среде ПО с открытым кодом продолжаются. Им начали отказывать в приеме патчей и предложений и открыто заявлять, что это только потому, что они россияне. С такой дискриминацией отечественный программист из «Яндекса» столкнулся при попытке внести изменения в репозиторий проекта Spring.

Что делать с весами в скрытых слоях (в нашем случае в слое 2)? Для весов, которые соединены с выходным слоем, производная ∂J/∂h=-(y_i-h_i (nl) )имела смысл, т.к. функция оценки может быть сразу найдена через сравнение выходного слоя с существующими данными. Но выходы скрытых узлов не имеют подобных уже существующих данных для проверки, они связаны с функцией оценки только через другие слои узлов. Как мы можем найти изменения в функции оценки из-за изменений весов, которые находятся глубоко в нейронной сети? Как уже было сказано, мы используем метод обратного распространения.

Для тех, кто не знает или забыл, как перемножаются матрицы. Когда матрица весов умножается на вектор, каждый элемент в строке матрицы весов умножается на каждый элемент в столбце вектора, после этого все произведения суммируются и создается новый вектор (3х1). После перемножения матрицы на вектор, добавляются элементы из вектора смещения и получается конечный результат.

Вывод этой функции: «Локальный минимум находится на 2.249965», что удовлетворяет правильному ответу с некоторой точностью. Этот код реализует алгоритм изменения веса, о котором рассказывалось выше, и может находить минимум функции с соответствующей точностью. Это был очень простой пример градиентного спуска, нахождение градиента при обучении нейронной сети выглядит несколько иначе, хотя и главная идея остается той же — мы находим градиент нейронной сети и меняем веса на каждом шагу, чтобы приблизиться к минимальной погрешности, которую мы пытаемся найти. Но в случае ИНС нам нужно будет реализовать градиентный спуск с многомерным вектором весов.

Сначала находится градиент погрешности на «1» по отношению к w. Градиент является уровнем наклона кривой в соответствующей точке. Он изображен на графике в виде черных стрелок. Градиент также дает некоторую информацию о направлении — если он положителен при увеличении w, то в этом направлении погрешность будет увеличиваться, если отрицательный — уменьшаться (см. График). Как вы уже поняли, мы пытаемся сделать, чтобы погрешность с каждым шагом уменьшалась. Величина градиента показывает, как быстро кривая погрешности или функция меняется в соответствующей точке. Чем больше значение, тем быстрее меняется погрешность в соответствующей точке в зависимости от w.

В данных MNIST нужны результаты от изображений записаны как отдельное число. Нам нужно конвертировать это единственное число в вектор, чтобы его можно было сравнивать с исходным слоем с 10 узлами. Иными словами, если результат в MNIST обозначается как «1», то нам нужно его конвертировать в вектор: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0]. Такую конвертацию осуществляет следующий код:

Broadcom темнит

Российский разработчик из «Яндекса» Ахтям Сакаев столкнулся с открытой дискриминацией по национальному признаку на GitHub (принадлежит Microsoft). Его запрос на внесение изменений в репозиторий (Pull Request) был отклонен только лишь потому, что он россиянин. Об этом ему открыто заявили в комментариях.

Следующая частичная производная сложной функции ∂h₁ (3) /∂z₁ (2) является частичной производной активационной функции выходного узла h₁₍₃₎. Так что нам нужно брать производные активационной функции, следует условие ее включения в нейронные сети — функция должна быть дифференцированной. Для сигмоидальной активационной функции производная будет выглядеть так:

В данном случае процесс прямого распространения с циклами занимает около 40 микросекунд. Это довольно быстро, но не для больших нейронных сетей с > 100 узлами на каждом слое, особенно при их обучении. Если мы запустим этот алгоритм на нейронной сети с четырьмя слоями, то получим результат 70 микросекунд. Эта разница является достаточно значительной.

Рассмотрим пример простой имплементации градиентного спуска для нахождения минимума функции f(x)=x 4 -3x 3 +2 на языке Python . Градиент этой функции можно найти аналитически через производную f»(x)=4x 3 -9x 2 . Это означает, что для любого xx мы можем найти градиент по этой простой формуле. Мы можем найти минимум через производную — x=2.25.

В обучении сети, используя (x,y), целью является улучшение нахождения правильного y при известном x. Это делается через изменение значений весов, чтобы минимизировать погрешность. Как тогда менять их значение? Для этого нам и понадобится градиентный спуск. Рассмотрим следующий график:

Следующим шагом является создание структуры нейронной сети. Для входного слоя, мы знаем, что нам нужно 64 узла, чтобы покрыть 64 пикселей изображения. Как было сказано ранее, нам нужен выходной слой с 10 узлами. Нам также потребуется скрытый слой в нашей сети. Обычно, количество узлов в скрытых слоях не менее и не больше количества узлов во входном и выходном слоях. Объявим простой список на языке Python , который определяет структуру нашей сети:

1 Искусственный нейрон

После случившегося Минцифры предложило создать в России суверенное сообщество разработчиков Linux. Но стоит напомнить, что после массовых блокировок на GitHub власти заговорили о создании национального репозитория свободного ПО, который так и не был запущен. Более того, осенью 2024 г. выяснилось, что планы по его разработке и вовсе были отменены.

Как было упомянуто ранее, биологические нейроны иерархически соединены в сети, где выход одних нейронов является входом для других нейронов. Мы можем представить такие сети в виде соединенных слоев с узлами. Каждый узел принимает взвешенный вход, активирует активационную функцию для суммы входов и генерирует выход.

LashaDev также привел цитату из «Кодексом поведения участников Соглашения» (Contributor Covenant Code of Conduct): Мы, как участники, спонсоры и лидеры, обязуемся сделать участие в этом проекте и в нашем сообществе свободным от притеснений для всех, независимо от возраста, телосложения, видимых или невидимых недостатков, этнической принадлежности, половых особенностей, гендерной идентичности и самовыражения, уровня опыта, образования, социально-экономического статуса, национальности, внешность, раса, каста, цвет кожи, религия или сексуальная идентичность и ориентация. Мы обязуемся действовать и взаимодействовать таким образом, чтобы способствовать созданию открытого, гостеприимного, разнообразного, инклюзивного и здорового сообщества».

Синим обозначены контуры функции оценки, они обозначают области, в которых значение погрешности примерно одинаковы. Каждый шаг (p1→p2→p3) В градиентном спуске используют градиент или производную, которые обозначаются стрелкой / вектором. Этот вектор проходит через два пространства [x1, x2][x1,x2]и показывает направление, в котором находится минимум. Например, производная, исчисленная в p1 может быть d/dx=[2.1,0.7], Где производная является вектором с двумя значениями. Частичная производная ∂/∂x₁ в этом случае равна скаляру →[2.1]- иными словами, это значение градиента только в одном измерении поискового пространства (x1).

Платформа «Нейролаб» работает как некоммерческая организация, ее главная цель — создание и поддержка рынка ИИ в России, подчеркнул в ходе пресс-конференции в ТАСС первый заместитель председателя комитета Госдумы по информационной политике, информационным технологиям и связи Антон Ткачёв. Вычислительные мощности платформа может предоставлять бесплатно любому разработчику — для этого каждый отдельный проект должен пройти оценку, сообщил генеральный директор платформы Intelion Data Systems Тимофей Семенов. Планируется, что уже к 2026 г. совокупные вычислительные мощности для разработки ИИ в рамках проекта достигнут 1 экзафлопса (триллион операций в секунду), сообщил основатель и генеральный директор компании «Битривер Рус» Игорь Рунец. «Нейролаб» не предполагает установленного потолка финансирования, оно осуществляется на проектной основе.

Сегодня в тесте качества русскоязычных моделей Russian SuperGLUE насчитывается 42 LLM, например от Сбера, «Яндекса» и независимых команд, таких как Saiga team, отмечает руководитель Data Science AdTech-экосистемы Hybrid Алексей Калабурдин: «Они обучены на данных с русскоязычных ресурсов, в частности на постах Pikabu.ru, Habr, стихах и новостях. Нейросети и данные для них есть в открытом доступе. Пользователи могут их скачать и бесплатно использовать. Например, на платформе Hugging Face Hub, куда исследователи, в том числе русские, могут выложить свои модели, уже насчитывается более 3638 русскоязычных нейросетей».