Hierarchiczne struktury w sztucznych sieciach neuronowych

W wielowarstwowych Sztucznych Sieciach Neuronowych (SSN), nieliniowych w swej strukturze, uczenie sieci polega na poszukiwaniu minimum globalnej funkcji celu. W realizacjach praktycznych – w funkcji celu – występują parametry dwóch lub trzech warstw ukrytych. Strojenie współczynników macierzy w warstwach W1, W2, czy też W3, odbywa się w procesie uczenia, który można traktować jako stan nieustalony SSN. Stany nieustalone w poszczególnych warstwach mają różne przebiegi dynamiczne, czyli zależności amplitudy błędu średniokwadratowego w warstwie od numeru iteracji. W praktycznych realizacjach procesu uczenia szybkość zbieżności procesu do stanu ustalonego, czyli minimum funkcji błędy, jest ważną charakterystyką, dlatego też podział SSN na niezależne poziomy, zdefiniowanie lokalnych funkcji celu dla każdej warstwy, skoordynowanie lokalnych procesów uczenia w celu osiągnięcia globalnego minimum ma praktyczny głęboki sens. W artkule podejmuje się próbę zastosowania ogólnej teorii złożonych systemów do opisu SSN, budowy algorytmów uczących i ich praktycznej realizacji. Tego typu podejście prowadzi do poszukiwania rozwiązań poprzez dekompozycję i koordynację w hierarchicznej strukturze SSN. Ze względu na występujące nieliniowości w poszczególnych warstwach sieci, trudno udowodnić warunki zbieżności dla stosowanych metod. Tym niemniej, praktyka realizacji różnych algorytmów pokazuje przydatność przyjętych rozwiązań.

On multi-layer artificial neural networks (ANN), non-linear in their structure, network teaching consists in seeking for global minimum function of the objective. In practical implementations – in the objective’s function – there are occurring parameters of two or three hidden layers. Tuning matrix coefficients in the layers W1, W2 or W3 takes place in the teaching process which can be treated as an ANN transient state. Transient states in individual layers have different dynamic courses, i.e. dependency of the amplitude of mean squared error in the layer on the number of iteration. In practical implementations of the teaching process, the speed of process convergence to the steady state, i.e. the minimum of the error function, is an important characteristic, hence the division of ANN into independent levels, defining the local functions of the objective for every layer, coordination of the local teaching processes in order to achieve the global minimum is of practical deep sense. In his article, the author made an attempt to apply the general theory of complex systems to describe ANN, to build teaching algorithms and their practical implementation. Such an approach leads to pursuit of solutions through decomposition and coordination in the ANN hierarchical structure. Due to the occurring nonlinearities in individual layers of the network, it is difficult to prove the convergence conditions for the methods applied. Nonetheless, the practice of implementation of various algorithms indicates usefulness of the adopted solutions.