НОУ ІНТУЇТ | лекція | Мережі зустрічного поширення

1. приклади навчання Розглянемо приклади навчання мережі Кохонена звичайним методом і методом опуклою...
2. режим інтерполяції
3. Статистичні властивості навченої мережі

приклади навчання

Розглянемо приклади навчання мережі Кохонена звичайним методом і методом опуклою комбінації. У першому методі будемо вибирати рівномірно розподілені випадкові вектори ваг (ядер класів). на малюнку 6.5 представлений приклад навчання. Точками позначені вектори навчальної множини, кружками - вектори вагових коефіцієнтів.

Вектор ваг нейрона які не піддаються навчанню, тому що ні для одного з векторів навчальної множини цей нейрон не отримує максимального виходу. Крім того, в області з шести навчальних векторів (справа внизу) виявляється всього один вектор ваг нейрона , Що не відповідає високої щільності навчальних векторів в цій області. Ці недоліки притаманні звичайним методом навчання мережі Кохонена.

Розберемо роботу методу опуклою комбінації. Послідовна зміна картини векторів і ваг показано на Мал. 6.6 .

На першій схемі всі вектори ваг і навчальної множини мають одне і те ж значення. У міру навчання навчальні вектори розходяться до своїх істинним значенням, а вектори ваг слідують за ними. У підсумку в мережі не залишається ненавчених нейронів і щільність векторів ваг відповідає щільності векторів навчальної множини. Однак метод опуклою комбінації добре працює, але уповільнює процес навчання, так як вагові вектори підлаштовуються до мінливих мети. Інший підхід полягає в додаванні шуму до вхідних векторів. Тим самим вони піддаються випадковим змінам, схоплюючи в кінці кінців ваговій вектор. Цей метод також працездатний, але ще більш повільно, ніж метод опуклою комбінації.

Третій метод починає роботу зі випадкових ваг, але на початковій стадії навчального процесу підлаштовує все ваги, а не тільки пов'язані з нейроном Кохонена. Тим самим вагові вектори переміщаються ближче до області вхідних векторів. В процесі навчання корекція ваг починає вироблятися лише для найближчих до переможця нейронів Кохонена. Цей радіус корекції поступово зменшується, так що в кінці коригуються тільки ваги, пов'язані з нейроном Кохонена.

Ще один метод наділяє кожен нейрон Кохонена "почуттям справедливості". Якщо він стає переможцем частіше своєї "законної частки" (приблизно , де - число нейронів Кохонена), він тимчасово збільшує свій поріг, що зменшує його шанси на виграш, даючи тим самим можливість навчатися і іншим нейронам.

У багатьох додатках точність результату істотно залежить від розподілу ваг. На жаль, ефективність різних рішень вичерпним ніяк не оцінена і залишається проблемою, яка чекає на свого рішення.

Модифікації алгоритму навчання

Почуття справедливості: щоб не допустити відсутність навчання за допомогою одного з нейронів, вводиться "почуття справедливості". Якщо нейрон частіше за інших виграє "змагання", тобто отримує максимальний вихід частіше, ніж в 1 з випадків, то його значення виходу штучно зменшується, щоб дати можливість виграти іншим нейронам. Це включає всі нейрони мережі в процес навчання.

Корекція ваг пропорційно виходу: в цій модифікації коригуються ваги не тільки виграв нейрона, але і всіх інших, пропорційно їх нормированному виходу. Нормировка виконується за максимальним значенням виходу шару або по його середньому значенню. Цей метод також виключає "мертві" нейрони і покращує розподіл щільності ваг.

режим інтерполяції

До сих пір ми обговорювали алгоритм навчання, в якому для кожного вхідного вектора активувався лише один нейрон Кохонена. Це називається методом акредитації. Його точність обмежена, так як вихід повністю є функцією лише одного нейрона Кохонена.

У методі інтерполяції ціла група нейронів Кохонена, що мають максимальні виходи, може передавати свої вихідні сигнали в шар Гроссберга. Число нейронів в такій групі має вибиратися в залежності від завдання, і переконливих даних щодо оптимального розміру групи немає. Як тільки група визначена, її безліч виходів розглядається як вектор, довжина якого нормалізується на одиницю розподілом кожного значення на корінь квадратний з суми квадратів значень у групі. Всі нейрони поза групою мають нульові виходи.

Метод інтерполяції здатний встановлювати більш складні відповідності і може давати більш точні результати. Як і раніше, проте, немає переконливих даних, що дозволяють порівняти переваги і недоліки режимів інтерполяції і акредитації.

Статистичні властивості навченої мережі

Метод навчання Кохонена володіє корисною і цікавою здатністю витягувати статистичні властивості з множини вхідних даних. Як показано Кохоненом, для повністю навченої мережі ймовірність того, що випадково обраний вхідний вектор (відповідно до функцією щільності ймовірності вхідного безлічі) буде найближчим до будь-якого заданого вагового вектора, дорівнює , де - число нейронів Кохонена. Це є оптимальним розподілом ваг на гіперсфері. (Передбачається, що використовуються всі вагові вектори, а це можливо лише в тому випадку, якщо використовується один з вищезазначених методів розподілу ваг.)