Применение нейронной сети YOLO для распознавания дефектов Текст научной статьи по специальности «Компьютерные и информационные науки»

Теория

4. Revyakin A. M., Skurnovich A. V. Approaches to the Development of a Recognition System to Solve the Problem of Determining the Content of Digital Images [Podkhody k raz-rabotke sistemy raspoznavaniya dlya resheniya zadachi opre-deleniya kontenta tsifrovykh izobrazheniy], Online Journal Nau-kovedenie [Internet-zhurnal «Naukovedenie»], 2016, Vol. 8, No. 4. Art. No. 30TVN416. 14 p. Available at: http://nau-kovedenie.ru/PDF/30TVN416.pdf (accessed 06 June 2022).

4. Ревякин, А. М. Подходы к разработке системы распознавания для решения задачи определения контента цифровых изображений / А. М. Ревякин, А. В. Скурнович // Интернет-журнал «Науковедение». 2016. Т. 8, № 4. Статья № 30TVN416. 14 c. URL: http://naukovedenie.ru/PDF/ 30TVN416.pdf (дата обращения 06.06.2022).

12. Lee Y., Park J. CenterMask: Real-Time Anchor-Free Instance Segmentation, Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2020), Seattle, WA, USA, June 13-19, 2020. Institute of Electrical and Electronics Engineers, 2020, Pp. 13903-13912.

Процесс обучения нейронной сети можно отслеживать с помощью графика, который представлен на рисунке 10. По оси абсцисс отмечено количество итераций, а по оси ординат — значение ошибки (разница между истинным выходным значением и значением, которое рассчитала нейронная сеть).

Как отмечено ранее, нейронная сеть YOLO обладает преимуществом в соотношении скорости и точности. Результаты, представленные на рисунке 2, позволяют утверждать, что нейронная сеть способна работать в режиме реального времени. Кроме того, с точки зрения архитектуры в данном программном решении заложены специальные математические концепции, позволяющие отслеживать перемещение объекта на видео.

The article considers an example of using the YOLO neural network to recognize and visualize defects in an image obtained in the process of ultrasonic testing by time-of-flight diffraction method. Of the 110 defect-grams containing images of defects, 100 of them were used to train the neural network , 10 for verification. The possibility of recognition of defects by a neural network with sufficient accuracy for everyday practice of non-destructive testing is shown.

Для нейронной сети стоит задача не просто определить объекты на кадре, но еще и связать информацию с предыдущих кадров таким образом, чтобы не потерять объект или сделать его уникальным. Первый этап задачи сводится к выполнению рассмотренного ранее алгоритма. Однако ситуация сильно осложняется в случае необходимости передачи информации от кадра к кадру. Для решения данной задачи в архитектуру нейронной сети были заложены два математических аспекта — расстояние Махаланобиса [13] и фильтр Калмана [14].

Распознанные области выделяются рамкой. Текст, указанный над рамкой, является названием класса, к которому относится распознанный объект. Расположенные рядом с текстом цифры характеризуют точность. Как можно заметить, вероятность распознавания превышает 90 %. Аналогичные результаты распознавания получены и на оставшихся восьми изображениях. Анализируя результаты, стоит упомянуть о возможности верифицировать распознанный объект, задавая минимальное значение вероятности распознавания. Если указать минимальное значение вероятности распознавания, то все распознанные объекты, вероятность распознавания которых будет меньше заданного минимума, не будут отображаться на итоговом изображении.

Чтобы применить обучение переносом по заранее обученным весовым коэффициентам YOLO и набору данных VOC, выполните следующие действия:

Применение данного программного решения не ограничивается распознаванием и классификацией объектов на изображении. Спектр задач, которые возможно решить с помощью данной нейронной сети, напрямую зависит от программы, которая будет с ней взаимодействовать. Поскольку имеется возможность получить координаты рамок, возможно использовать данную информацию для последующих задач. В качестве примера можно отметить возможность представления информации в более понятном для человека виде, например, в какой части контролируемого объекта находится дефект.

Мы создадим полную сверточную нейронную сеть (Fully Convolutional Network, FCN) без тренировки. Чтобы что-то предсказать с помощью этой сети, нужно загрузить веса от заранее тренированной модели. Эти веса получены после тренировки YOLOv3 на датасете COCO (Common Objects in Context), и их можно загрузить с официального сайта.

Для разделения загружаемого изображения на равные части необходимо, чтобы размер был кратным 32. Рекомендованным значением является 416 пикселей в длину и ширину. При большем разрешении увеличивается время обучения нейронной сети, однако это также положительно влияет на качество работы нейронной сети. Помимо этого, соблюдение данного требования позволяет загружать партию изображений в нейронную сеть за один раз, после чего применяется технология параллельных вычислений.

12. Lee, Y. CenterMask: Real-Time Anchor-Free Instance Segmentation / Y. Lee, J. Park // Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2020) (Seattle, WA, USA, 13-19 June 2020). — Institute of Electrical and Electronics Engineers, 2020. — Pp. 13903-13912. DOI: 10.1109/CVPR42600.2020.01392.

Как было упомянуто ранее, нейронная сеть рисует несколько рамок вокруг искомого объекта, это необходимо для более точного выделения области, в которой находится объект. В результате проведения всех операций у одной выделенной области может быть несколько подходящих для финального отображения рамок (рис. 7).

Задачи по распознаванию дефектов являются наиболее популярными и актуальными в рамках ультразвукового контроля, позволяя повысить достоверность его результатов за счет снижения субъективности. В развертке типа B (зависимость амплитуды от времени прихода сигнала) оценить наличие дефекта можно по геометрическим и амплитудным признакам, что в свою очередь дает возможность для применения нейронных сетей. В рамках данной работы были использованы результаты контроля дифракционно-временным методом.

В первую очередь стоит определиться с размерами прямоугольников, внутри которых может находиться искомый объект. Максимальное и минимальное значения прямоугольников можно настроить в параметрах нейронной сети, указав конкретные значения, или позволив нейронной сети выбрать размеры из обучающей выборки. Как правило, применяют второй вариант.

В статье рассматривается пример использования нейронной сети YOLO для распознавания и визуализации дефектов на изображении, полученном в процессе ультразвукового контроля дифракционно-временным методом. Из 110 дефектограмм , содержащих изображения дефектов, 100 использовались для обучения нейронной сети , 10 — для проверки. Показана возможность распознавания дефектов нейронной сетью с достаточной точностью для повседневной практики неразрушающего контроля.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Брехт Э. А., Коншина В. Н.

На сегодняшний день известно о следующих задачах применительно к ультразвуковому контролю, в рамках которых были предприняты попытки использовать нейронные сети [3]: распознавание образов, разделение сигналов от дефектов различного типа, автоматизированный анализ дефектограмм.

Во время первой публикации (в 2016 году) YOLO имела передовую mAP (mean Average Precision), по сравнению с такими системами, как R-CNN и DPM. С другой стороны, YOLO с трудом локализует объекты точно. Тем не менее, она обучается общему представлению объектов. В новой версии как скорость, так и точность системы были улучшены.

Архитектура нейронной сети YOLO является примером современного гибкого решения задач по распознаванию и анализу дефектов. Стоит также отметить, что в сравнении с упомянутыми в [3] технологиями нейронная сеть YOLO продолжает развиваться и является системой с открытым исходным кодом, то есть бесплатной.

9. Tan M., Pang R., Le Q. V. EfficientDet: Scalable and Efficient Object Detection, Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2020), Seattle, WA, USA, June 13-19, 2020. Institute of Electrical and Electronics Engineers, 2020, Pp. 10778-10787. DOI: 10.1109/CVPR42600.2020.01079.

5. Mask R-CNN: архитектура современной нейронной сети для сегментации объектов на изображениях // NanoNewsNet — Сайт о нанотехнологиях № 1 в России. — 2018. — 27 августа. URL: http://www.nanonewsnet.ru/ news/2018/mask-r-cnn-arkhitektura-sovremennoi-neironnoi-seti-dlya-segmentatsii-obektov-na-izobrazhen (дата обращения 06.06.2022).

Нейронная сеть EfficientDet [9] обладает хорошим показателем точности. Это достигается с помощью ее уникальной структуры, в основе которой использован принцип одноуровневой нейронной сети. Признаки, по которым нейронная сеть распознает объекты, передаются сразу по нескольким направлениям (в других нейронных сетях эта реализация более линейна). Очевидно, что для таких операций потребуется больше переменных, а также уникальные правила для обработки признаков.