ЮЖНО-СИБИРСКИЙ НАУЧНЫЙ ВЕСТНИК

ISSN 2304-1943
ЭЛ № ФС 77 – 52804

Об издании Issues Выпуски за 2019 год Выпуск 2 (26) - июнь 2019 ПАРАЛЛЕЛЬНАЯ РЕАЛИЗАЦИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ С ЭЛЕМЕНТАМИ САМООБУЧЕНИЯ НА ГЕТЕРОГЕННОМ КОМПЬЮТЕРЕ
DOI: 10.25699/SSSB.2019.2(26).32523 1 Download PDF

ПАРАЛЛЕЛЬНАЯ РЕАЛИЗАЦИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ С ЭЛЕМЕНТАМИ САМООБУЧЕНИЯ НА ГЕТЕРОГЕННОМ КОМПЬЮТЕРЕ

А.А. Малявко
Ключевые слова:  нейронная сеть, самообучение, гетерогенный компьютер, графический процессор.
Аннотация:

В статье рассматриваются возможные способы уменьшения затрат времени на симуляцию искусственной нейронной сети, архитектура которой ориентирована на изучение механизмов самообучения. На основе сопоставления с биологическими нейронными системами, заведомо способными к самообучению, формулируются некоторые предположения о возможной структуре такой сети в виде совокупности нескольких функционально разнотипных многослойных блоков нейронов. Связи между нейронами направлены преимущественно от входа сети к ее к выходу, но имеются и связи между нейронами одного слоя, а также связи обратной направленности. Эффект самообучения возможно, будет достигнут при реализации непрерывного циклического моделирования работы сети, что полностью соответствует механизмам функционирования биологических прототипов. Непрерывная симуляция сети с большим количеством нейронов требует очень больших затрат компьютерного времени. Поэтому актуальной является ориентация на использование гетерогенных компьютеров, предоставляющих значительно большие вычислительные мощности по сравнению с компьютерами традиционной архитектуры. Описывается параллельная программная модель, разработанная для проведения экспериментов по изучению механизмов самообучения на многоядерных компьютерах с несколькими графическими процессорами, и реализованный в этой модели алгоритм распределения и балансировки нагрузки графических процессоров и ядер центрального процессора. Приводятся результаты экспериментов на двух различных гетерогенных компьютерах, показывающие сравнительно слабый эффект ускорения вычислений за счет использования нескольких GPU. Этот эффект можно объяснить необходимостью постоянного перемещения больших объемов данных между основной памятью и памятью графических процессоров вследствие непрерывного переконфигурирования параметров межнейронных связей, осуществляемого симулятором при исследовании алгоритмов самообучения.

PARALLEL IMPLEMENTATION OF A MULTILAYERED NEURAL NETWORK WITH ELEMENTS OF SELF-LEARNING ON A HETEROGENOUS COMPUTER

A.A. Maliavko
Index terms:  neural network coordinates of the seat of fire, activation function, multipoint electro-optical system
Abstract:

The article discusses possible ways to reduce the time spent on the simulation of an artificial neural network, whose architecture is focused on the study of self-learning mechanisms. On the basis of comparison with biological neural systems that are known to be capable of self-learning, some assumptions are formulated about the possible structure of such a network as a combination of several functionally diverse types of multilayer neuron blocks. Connections between neurons are directed mainly from the network input to its output, but there are also connections between neurons of the same layer, as well as connections of the reverse direction. The effect of self-study may be achieved with the implementation of continuous cyclic modeling of the network, which is fully consistent with the mechanisms of functioning of biological prototypes. Continuous simulation of a network with a large number of neurons requires very large expenditures of computer time. Therefore, the focus is on the use of heterogeneous computers that provide significantly greater computing power compared to computers of traditional architecture. It describes a parallel software model developed for conducting experiments on the study of self-learning mechanisms on multi-core computers with several graphics processors, and the algorithm implemented in this model for the distribution and load balancing of graphics processors and cores of the central processor. The results of experiments on two different heterogeneous computers, showing a relatively weak effect of accelerating calculations if use of one or several GPUs, are presented. This effect can be explained by the need to constantly move large amounts of data between the main memory and the memory of graphics processors due to the continuous reconfiguration of the parameters of interneuron connections carried out by the simulator in the study of self-learning algorithms.

  

Контакты

Россия, 659305, Алтайский край, г. Бийск, ул. Трофимова, 27, к. 404Б
Тел. +7-923-162-93-27 (ответственный секретарь - Голых Роман Николаевич)
e-mail: info@s-sibsb.ru

Contacts

Russia, 659305, Altai region, Biysk, Trofimova Street, 27, room 404B
Tel. + 7-923-162-93-27 (executive secretary - Golikh Roman Nikolayevich)
e-mail: info@s-sibsb.ru

Последний выпуск/ Current Issue

Свидетельство/ Certificate