Twoim problemem jest to, że powszechną NICOŚĆ mylisz z osobistą PUSTKĄ
Sieci neuronowe
pOLITECHNIKA WROCŁAWSKA
WYDZIAŁ MECHANICZNY
AUTOMATYKA I ROBOTYKA
Paweł Skorupski 195413
Michał Harc 194403
Dominik Frączek 194432
Prowadzący:
Dr inż. Henryk Kordecki
Spis treści:
1. Wstęp
2. Biologiczne podstawy działania neuronu
3. Pierwsze modele
4. Zastosowania sieci neuronowych
5. Uczenie sieci neuronowych
6. Podstawowe typy sieci
7. Podsumowanie
8. Bibliografia
1. Wstęp
Tematyka sztucznych sieci neuronowych należy do interdyscyplinarnej dziedziny badań powiązanej z biocybernetyką, elektroniką, matematyką stosowaną, statystyką, automatyką, a nawet medycyną.Wiedza o sieciach neuronowych swoje początki wywodzi z fascynacji naukowców centralną częścią układu nerwowego, jaki posiada każdy z nas, a więc z mózgu, którego możliwości przetwarzania informacji wciąż górują nad największymi systemami komputerowymi. Liczne badania prowadzone w ostatnich kilkudziesięciu latach doprowadziły do nagromadzenia takiej liczby faktów, że ich objęcie wyłącznie wyobraźnią naszego umysłu stało się niewykonalne.
Już w latach 40-tych XX w. pojawiły się próby matematycznego, a potem cybernetycznego opisu funkcjonowania pojedynczych komórek i ich zespołów, które mają najczęściej formę regularnych sieci. Sztuczne sieci neuronowe zdobyły szerokie uznanie w świecie nauki poprzez swoją zdolność łatwego zaadoptowania do rozwiązywania różnorodnych problemów obliczeniowych w nauce i technice. Mają one bardzo pożądane właściwości w wielu zastosowaniach praktycznych, ponieważ posiadają zdolności uczenia się, adaptacji do zmieniających się warunków środowiskowych oraz zdolność generalizacji nabytej wiedzy.Stanowią pod tym względem szczytowe osiągnięcie sztucznej inteligencji.
Problematyka sieci neuronowych jest z pewnością dziedziną nauk technicznych. Używając sieci neuronowych jako wygodnych systemów przetwarzania informacji, wiele osób zapomina często o korzeniach, z których wywodzi się ta nowoczesna technika. W naszej pracy chcielibyśmy napisać, że podstawy sieci neuronowych oparte są na fundamentalnych odkryciach biologów śledzących tajniki działania ludzkiego mózgu. Trzeba zaznaczyć, że niektóre odkrycia zostały docenione w świecie nauki poprzez przyznanie prestiżowych wyróżnień, jakimi są nagrody Nobla. Warto w tym miejscu je przypomnieć i wymienić:
a) Pawlow – model odruchu warunkowego (1904)
b) Ramon y Cajal – opis struktury sieci nerwowej (1906)
c) Einthoven – rejestracja biopotencjałów tkanek (1924)
d) Sherrington – model nerwowego sterowania mięśni (1932)
e) Bekesy – model percepcji słuchowej (1961)
f) Hodgkin i Huxley – model propagacji sygnału w aksonie (1963)
g) Eccles – model synapsy (1963)
h) Granit i Hartline – badania mikroelektrodowe (1967)
i) Katz – zasada „wszystko albo nic”
j) Hubel i Wiesel – model kory wzrokowej (1981)
k) Lorenz i Tinbergen – model celowego zachowania (1986)
Pamiętając o źródłach i podstawach rozwoju z zakresu biologii i neurobiologii, które doczekały się bogatej literatury przedmiotu,w niniejsze pracy chcielibyśmy zwrócić uwagę nie tyle na biologiczne „korzenie” sieci neuronowych, ile na zagadnienia istotne z punktu widzenia przyszłego inżyniera, a więc na techniczny aspekt tego zagadnienia. Podstawy biologiczne działania neuronu stanowić muszą jednak swoiste wprowadzenie do tematu.
2. Biologiczne podstawydziałania neuronu
Sztuczne sieci neuronowe powstały jako pochodna wiedzy o działaniu systemu nerwowego istot żywych.Stanowią zatem próbę wykorzystania zjawisk zachodzących w systemach nerwowych przy poszukiwaniu nowych rozwiązań technologicznych.
Komórka nerwowa, zwana po prostu neuronem, jest podstawowym elementem systemu nerwowego. Chcąc w pełni zrozumieć istotę procesów pozyskiwania, przesyłania i przetwarzania informacji zachodzących w sieciach neuronowych,należy poznać mechanizmy działania poszczególnych neuronów i ich współdziałania. Z tego względu model rzeczywistej komórki nerwowej jest tak bardzo istotny. Z tego względu niezbędne jest przyswojenie sobie specjalistycznego słownictwa z zakresu nauk biologicznych.Bez poszerzenia wiedzy z tego zakresu niemożliwe jest opanowanie tak trudnego zagadnienia, jakim są sieci neuronowe.
Neuron, jak każda komórka, posiada ciało z elementami wyposażenia cytologicznego zwane somą, wewnątrz którego znajduję się jądro. Z somy neuronu wyrastają liczne wypustki, pełniące istotną rolę w połączeniu z innymi komórkami. Można wyróżnić dwa rodzaje wypustek: liczne, cienkie i gęsto rozkrzewione dendryty oraz grubszy, rozwidlający się na końcu akson.Sygnały wejściowe doprowadzone są do komórki za pośrednictwem synaps, zaś sygnał wyjściowy odprowadzany jest za pomocą aksonu i jego licznych odgałęzień zwanych kolaterelami.Kolaterale docierają do somy i dendrytów – innych neuronów, tworząc kolejne synapsy. Synapsy, dołączające wyjścia innych komórek nerwowych do danej komórki, mogą więc znajdować się zarówno na dendrytach, jak i bezpośrednio na ciele komórki. Transmisja sygnałów wewnątrz systemu nerwowego jest bardzo skomplikowanym procesem chemiczno-elektrycznym. Jednak wyrażając cały ten proces w uproszczeniu można założyć, że transmisja impulsu nerwowego od jednej komórki do drugiej opiera się na wydzielaniu pod wpływem nadchodzących od synaps bodźców specjalnych substancji chemicznych, zwanych neuromediatorami. Substancje te oddziałują na błonę komórki, powodując zmianę jej potencjału elektrycznego, przy czym zmiana ta jest tym większa, im więcej neuromediatora pojawi się na błonie.
Rysunek: Uproszczony schemat rzeczywistej komórki nerwowej
Synapsy różnią się wielkością oraz możliwościami gromadzenia neuromediatora w pobliżu błony synaptycznej. Z tego powodu taki sam impuls, docierający do wejścia komórki za pośrednictwem określonej synapsy, może powodować silniejsze lub słabsze jej działanie niż w przypadku innego wejścia. Miarą stopnia pobudzenia komórki jest stopień polaryzacji jej błony, zależny od sumarycznej ilości neuromediatora wydzielonego we wszystkich synapsach. Wynika z tego fakt, że wejściom komórki można przypisać współczynniki liczbowe, inaczej mówiąc wagi odpowiadające ilości neuromediatora wydzielonego jednorazowo na danej synapsie.Sygnały wejściowe w modelu matematycznym należy odpowiednio przemnożyć przez odpowiednie wartości. Wyróżniamy wagi synaptyczne pobudzające oraz hamujące. Po dotarciu impulsu wejściowego do synapsy i uwolnieniu danej ilości neuromediatora następuje pobudzenie elektryczne komórki. Jeśli bilans pobudzeń i hamowań jest ujemny, komórka samorzutnie wraca do stanu początkowego. Jeśli suma ta przekroczy próg uaktywnienia komórki, to sygnał wejściowy narasta powodując impuls nerwowy, który zostaje przesłany aksonem do innych neuronów połączonych z komórką pobudzoną.Neuromediator, po spełnieniu swojego zadania, jest usuwany, na zasadzie wchłonięcia go w komórkę, poprzez rozkład lub przemieszczeniu go poza obszar synaps. W momencie wygenerowania impulsu przez komórkę nerwową, uruchomiony zostaje proces refrakcji,
dzięki któremu neuron nie jest w stanie wygenerować kolejnego impulsu, tak aby nie nastąpił konflikt.
Rysunek:Model współpracujących komórek nerwowych
Ilość komórek nerwowych, które współpracują ze sobą, jest ogromna. Szacuje się, że mózg ludzki zawiera około 10^11 takich komórek. Przy tak wielkiej ilości połączeń, błąd działania pojedynczych neuronów nie wpływa negatywnie na cały proces przesyłania sygnału. Jest to bardzo ważna cecha, która wywyższa sztuczną sieć neuronową nad systemami elektronicznymi, w których to jeden błąd niweczy funkcję działania całego systemu. Kolejną bardzo ważną cechą takiej sieci jest szybkość działania – mimo dosyć długiego cyklu pojedynczej komórki (liczonego w milisekundach). Dzieje się tak, gdyż sieć ta jest na tyle rozbudowana, że poszczególne sygnały przesyłane są równolegle wieloma kanałami. Proces ten jest na tyle sprawny, że analiza obrazu, dźwięku, czy podejmowania decyzji odbywa się w czasie mierzonym w milisekundach. Dla porównania podać można, iż w technologii półprzewodnikowej, w której cykl działania pojedynczego elementu wykonawczego oscyluje w granicach 10^-8 s, czyli de facto o wiele krótszym od cyklu komórki nerwowej, uzyskanie tak szybkiej reakcji jest na chwilę obecną po prostu niemożliwe. Jeśli udałoby się zatem zastosować w urządzeniach elektronicznych kanały o dużej równoległości wykonywania poszczególnych operacji, wzorując się na tych, które występują w układzie nerwowym, można byłoby zbliżyć się do szybkości procesu, spotykanej naturalnie w układzie nerwowym.
3.Pierwsze modele
Analizując poprzedni punkt naszej pracy należy stwierdzić, że każdy neuron jest narzędziem, które sumuje z odpowiednimi wagami sygnały wejściowe pochodzące z innych neuronów, tworząc funkcję sumy i przekazuje tę wartość do innych neuronów powiązanych z nim. W związku z zasadą „wszystko albo nic” (zasada ta mówi, że pobudzenie neuronu musi przekroczyć określony próg) w pierwszych modelach neuronu przyjmowano sygnał wyjściowy zero-jedynkowy, czyli sygnał binarny.
Wartość 1 – jak łatwo się domyślić – odpowiada pobudzeniu neuronu większemu niż próg zadziałania, a wartość 0 – pobudzeniu mniejszemu niż ten próg. Jednym z pierwszych takich modeli był model McCullocha-Pittsa sformułowany w 1943 r. Jest to model dyskretny, w którym stan neuronu w chwili (k+1) określany jest na podstawie sygnałów wejściowych neuronów w chwili poprzedniej k.
Kilka lat później D. Hebb zaprezentował teorię uczenia w zastosowaniu do pamięci asocjacyjnych. Wykorzystał on obserwacje, w których zauważył, że waga połączeń międzyneuronowych jest wzmacniana przy stanach uaktywnienia obu neuronów. W modelu Hebba przyrost wagi w procesie uczenia jest proporcjonalny do iloczynu sygnałów wyjściowych neuronów połączonych daną wagą. W latach 60-tych XX w.G. Widrow opracował podstawy teoretyczne i podstawowe implementacje techniczne adaptacyjnych układów przetwarzających sygnały, stanowiące istotny wkład w rozwój sieci neuronowych działających w trybach on-line jak i off-line.
W następnych latach zostały mocno ograniczone środki finansowania tej dziedziny badań, co skutkowało osłabieniem rozwoju badań nad sieciami neuronowymi. Głównym czynnikiem powodującym zastój była dość krytyczna ocena ówczesnych dokonań w tym zakresie zawarta w książce Minsky’ego i Paperta. Dalsze badania prowadzone były jedynie w nielicznych ośrodkach badawczych przez kilku wybitnych naukowców w tej dziedzinie. Kilkanaście lat później, na początku lat 80-tych XX w. nastąpił gwałtowny wzrost zainteresowania oraz finansowania tej interdyscyplinarnej nauki. Dzięki finansowemu wsparciu jak i rozwojowi systemów komputerowych nastąpił gwałtowny przełom zarówno w teorii, jak i w zastosowaniach praktycznych. Obecnie sieci neuronowe stanowią dobrze rozwinięta dyscyplinę wiedzy, stosowaną w wielu dziedzinach techniki.
Rysunek: Model komórki nerwowej według McCullocha-Pittsa
4.Zastosowania sieci neuronowych
Sieci neuronowe w rozwiązaniach praktycznych stanowią zwykle część sterującą procesem, bądź część decyzyjną, przekazującą sygnał wykonawczy innym elementom urządzenia, które nie są bezpośrednio związane z sieciami neuronowymi. Funkcje pełnione przez sieci neuronowe można podzielić na kilka grup:
a) Aproksymacja i interpolacja.
b) Rozpoznawanie i ...