Солдатова, О.П.

Чайка, П.Д.

Russian

Samara University

 Международная научно-техническая конференция «Перспективные информационные технологии» ПИТ 2014   170О.П. Солдатова, П.Д. Чайка  ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ РАСПРЕДЕЛЁННОЙ ГИБРИДНОЙ СЕТЬЮ КОХОНЕНА  (Самарский государственный аэрокосмический университет)  В настоящее время использование нейронных сетей для решения задачи классификации становится обычной практикой. Различают множество видов архитектур нейронных сетей. В настоящее время наиболее часто используемой архитектурой нейросети является многослойный персептрон (MLP). Много-слойные персептроны успешно применяются для решения разнообразных сложных задач. При этом обучение с учителем выполняется с помощью такого популярного алгоритма, как алгоритм обратного распространения ошибки.  В качестве отдельного большого класса нейронных сетей выделяют сети с самоорганизацией на основе конкуренции. Основу самоорганизации нейронных сетей составляет активация нейронов в ответ на поданный входной вектор, в результате чего активным оказывается один нейрон в сети (или в группе). Вы-ходной нейрон, который выиграл соревнование, называется нейроном-победителем. Наиболее популярной моделью сети с самоорганизацией является карта Кохонена. В ней нейроны помещаются в узлах решетки, обычно одно- или двумерной. Главная особенность сети с самоорганизацией – это очень высокая ско-рость обучения по сравнению с сетями, тренируемыми с учителем. Их недос-татком считается сложность отображения пар обучающих данных (x, d), по-скольку сеть с самоорганизацией, выполняющая обработку только входного вектора x, не обладает свойствами хорошего аппроксиматора, присущими мно-гослойному персептрону.  Очень хорошие результаты удалось получить при объединении самоорга-низующегося слоя и персептронной сети, что позволяет совместить способно-сти сети Кохонена к локализации и возможности аппроксимации, свойственные многослойному персептрону [1]. Подобная структура, называемая гибридной сетью Кохонена, изображена на рисунке 1. Она представляет собой каскадное подключение слоя Кохонена к персептронной сети. Самоорганизующийся слой улавливает значимые признаки процесса (локализует их на основе входных данных x), после чего им приписывается входной вектор в персептронном слое. Обучение гибридной сети состоит из двух отдельных этапов, следующих друг за другом. Сначала на множестве входных векторов х обучается слой Кохонена. В результате нейроны этого слоя организуются таким образом, что векторы их весов наилучшим образом отображают распределение данных обучающих век-торов x. Обучение слоя Кохонена происходит по алгоритмам WTAили WTM [1].   International Scientific Conference “Advanced Information Technologies and Scientific Computing” PIT 2014   171 Рис. 1. Структура гибридной сети Кохонена  Обучающими сигналами для нее является множество пар (zi, di), где zi-это вектор, составленный из выходных сигналов нейронов слоя Кохонена, а di– вектор, ожидаемых значений оригинального отображения (xi, di). Сеть обучает-ся по методу обратного распространения ошибки. Если принять во внимание то, что каждому вектору x соответствует конкретный нейрон-победитель, то можно осуществить предварительную инициализацию весов персептронного слоя таким образом, что значения весов, соединяющих нейрон-победитель с выходными нейронами гибридной сети, будут усредняться по тем векторам d, на которых были одержаны победы. При такой предварительной инициализа-ции весов, обучение персептронного слоя сводится к незначительной корректи-ровке их значений, отражающей влияние проигравших нейронов слоя Кохонена на окончательный результат. Эта корректировка, как правило, требует неболь-шого количества итераций и ведет к достижению глобального минимума функ-ции погрешности [2]. Однако острой остаётся проблема оптимизации архитектуры сети. Не-смотря на хорошие результаты, гибридная сеть содержит большее число нейро-нов и весов, чем аналогичная сеть Кохонена и многослойный персептрон, что сказывается на времени обучения и объеме занимаемой памяти. Поэтому авторами было выдвинуто предложение для уменьшения числа связей в гибридной сети Кохонена, путем объединения нейронов в слое Кохо-нена в группы. Такая сеть получила название распределенная гибридная сеть Кохонена. Ее структура представлена на рисунке 2. В данной сети производится разделение обучающих данных на классы и в слое Кохонена создаётся своя группа нейронов для каждого отдельного класса. Затем каждая группу обучается только на своём классе при помощи алгоритмов WTA или WTM. После обучения слоя Кохонена обучается персептронная часть сети при помощи алгоритма обратного распространения ошибки. В качестве входного вектора для персептронного слоя используются не значения сигналов  Международная научно-техническая конференция «Перспективные информационные технологии» ПИТ 2014   172от каждого нейрона слоя Кохонена, а усредненные значения выходных сигна-лов каждой группы нейронов.  Рис. 2. Структура распределенной гибридной сети Кохонена  Так как каждая группа нейронов настроена только на свой класс, то в случае непересекающихся классов входных данных, в результате самооргани-зации определяется не нейрон-победитель, а группа нейронов-победителей. Та-ким образом, количество групп нейронов равно числу классов, вследствие чего существенно уменьшается количество связей в сети, а значит, уменьшается ко-личество операций на каждом шаге итерации. В данном случае вместо самоор-ганизации на уровне входных данных реализуется самоорганизация на уровне классов входных данных.  Данное действие не является эффективным в случае обычной карты Ко-хонена, так как неизвестно предварительное разбиение входных данных на классы. В случае гибридной карты это предварительное разбиение данных су-ществует, поэтому его можно использовать для оптимизации структуры сети. Однако пользователь может заранее не знать точного количества обу-чающих выборок для каждого класса. Поэтому для генерации структуры сети авторами вводится понятие так называемого коэффициента уменьшения. При использовании обычной карты Кохонена можно заметить, что минимально чис-ло нейронов, необходимое для эффективной работы сети равно количеству классов входных данных (по одному нейрону на класс). Меньшее количество нейронов приведет к отсутствию навыков распознавания некоторых классов входных данных. Максимальное количество нейронов будет равно количеству обучающих примеров (по нейрону на каждый пример). Большее количество нейронов приведет к неизбежному появлению мертвых нейронов. Поэтому оп-тимальное количество нейронов, необходимое для эффективного решения за-дачи классификации, лежит внутри этих границ. Для этих целей и вводится ко-эффициент уменьшения a(0<=a<=1), при котором количество нейронов в каж- International Scientific Conference “Advanced Information Technologies and Scientific Computing” PIT 2014   173дой группе Ni=a*Di, где Di количество обучающих примеров принадлежащих данному классу. В качестве обучающих данных использовались четыре выборки с репози-тория UCI– ирисы Фишера, классификация вин, заболевания печени и кредит-ный индекс Германии [3]. В таблице 1 показан процент неверно распознанных тестовых векторов в зависимости от структуры обычной гибридной сети Кохо-нена. В таблице 2 представлены аналогичные данные для распределенной гиб-ридной сети Кохонена. Таблица 1. Процент неверно распознанных векторов в зависимости от структуры обычной гибридной сети Кохонена Количество ней-ронов в слое Ко-хонена Количество весов Название обучающей выборки Процент ошиб-ки классифика-ции, % 100 615 Ирисы Фишера 0 144 879 Классификация вин 7.1 256 1546 Заболевания печени 10.2 400 2147 Кредитный индекс Германии 21.4 Таблица 2. Процент неверно распознанных векторов в зависимости от структуры распределенной гибридной сети Кохонена Количество ней-ронов в слое Ко-хонена Количество весов Название обучающей выборки Процент ошиб-ки классифика-ции, % 27 57 Ирисы Фишера 0.0 41 71 Классификация вин 5.4 181 251 Заболевания печени 8.3 231 384 Кредитный индекс Германии 15.7  Можно сделать вывод, что распределенная гибридная сеть Кохонена име-ет более адекватную структуру для решения данных задач, чем обычная гиб-ридная сеть Кохонена, при аналогичных погрешностях классификации. Это по-зволяет уменьшить количество операций, выполняемых за одну итерацию, вре-мя обучения и объем занимаемой памяти. Литература 1. Осовский С., Нейронные сети для обработки информации [Текст] / С. Осовский, пер. с польского И.Д. Рудинского. – М.: Финансы и статистика, 2002. – 344с. 2. Хайкин С. Нейронные сети: полный курс. [Текст] / С. Хайкин, пер. с англ. – М.: Вильямс, 2006. – 1104 с.  3. Bache K., Lichman M. UCI Machine Learning Repository [available at: http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science, 2013. 

Исследование эффективности решения задачи классификации распределённой гибридной сетью Кохонена

http://repo.ssau.ru/bitstream/Perspektivnye-informacionnye-tehnologii/Issledovanie-effektivnosti-resheniya-zadachi-klassifikacii-raspredelennoi-gibridnoi-setu-Kohonena-61914/1/pit_14_1_5_50.pdf

Исследование эффективности решения задачи классификации распределённой гибридной сетью Кохонена

Abstract

Similar works

Full text

Available Versions

Samara University