Zrozumieć działanie sieci neuronowej - opis działania sztucznych sieci neuronowych

[Darlark]

Wstęp

Tematyka uczenia maszynowego, sieci neuronowych oraz sztucznej inteligencji jest w ostatnich latach bardzo popularna nie tylko w środowisku naukowym, ale również wśród programistów i elektroników amatorów. Często jednak zdarza się, że znamy te zagadnienia z praktyki i umiemy je wykorzystywać przy pomocy popularnych bibliotek takich jak Keras, jednak nie wiemy co dzieje się na niższym poziomie. W artykule tym postaramy się jednak to zmienić. Naszym celem będzie zrozumienie podstaw teoretycznych i poznanie działania sztucznej inteligencji od pojedynczego neuronu, przez proces uczenia, aż do gotowej i wyuczonej sieci. 

Ten artykuł bierze udział w naszym konkursie! 🔥
Na zwycięzców czekają karty podarunkowe Allegro, m.in.: 2000 zł, 1000 zł i 500 zł.

Potrafisz napisać podobny poradnik? Opublikuj go na forum i zgłoś się do konkursu!
Czekamy na ciekawe teksty związane z elektroniką i programowaniem. Sprawdź szczegóły »

Pojedynczy neuron

Sztuczne sieci neuronowe składają się z węzłów (pojedynczych neuronów), warstw tworzonych przez węzły oraz połączeń między węzłami. Pojedynczy węzeł składa się z funkcji wejściowej, funkcji aktywacji oraz wyjścia. Połączenia między węzłami natomiast posiadają przypisane im wagi, przez które przemnażany jest sygnał przez nie płynący. Wyróżniamy również trzy warstwy węzłów: wejściową, ukrytą oraz wyjściową. Matematyczny model węzła, czyli pojedynczego sztucznego neuronu pokazano poniżej.

Na początek skupmy się jednak na działaniu pojedynczego neuronu. Posiada on dowolną liczbę wejść oraz jedno wyjście. Wejściami mogą być, w zależności od warstwy w jakiej znajduje się nasz neuron, dane wejściowe lub wyjścia innego neuronu. Na rysunku mamy sześć sygnałów wejściowych opisanych x0-x5. Z reguły sygnały te powinny przyjmować wartości od 0 do 1 i następnie być przemnożone przez odpowiadające im wagi θ0-θ5. Wielkość tych wag jest dowolna (mogą być dodatnie oraz ujemne) i jest uzależniona od tego jak istotne dla działania naszej sieci jest dane połączenie. Podczas procesu uczenia sieci to właśnie te wagi ulegają zmianie tak by efekt działania sieci był jak najtrafniejszy. Wszystkie przemnożone przez swoje wagi wejścia są w kolejnym kroku sumowane i podawane jako wejście (czyli argument) funkcji aktywacji. Funkcja aktywacji jest niezwykle istotna. Z reguły wykorzystuje się tu funkcję sigmoidalną. Jej wykres przedstawiono na rysunku poniżej.

Funkcja ta na podstawie swojego argumentu przyjmuje wartości z zakresu od 0 do 1. Zazwyczaj przyjmuje ona jednak tylko swoje skrajne wartości. Dlaczego więc stosujemy funkcję sigmoidalną zamiast zwykłego określania, że dla ujemnych argumentów funkcja aktywacji przyjmuje wartość 0, a dla dodatnich 1? Otóż funkcja ta jest w prosty sposób różniczkowalna¹ co ma znaczący wpływ w procesie uczenia całej sieci, znacznie ułatwiając potrzebne obliczenia. Nie będziemy jednak tego tu dokładniej omawiać, temat doboru funkcji aktywacji mogłyby posłużyć na osobny artykuł. Wracając do działania neuronu wystarczy dodać, że wyjście funkcji aktywacji jest zarazem wyjściem całego węzła. Mówimy więc, że neuron jest w stanie spoczynku, gdy wartość funkcji aktywacji jest równa 0, lub w stanie pobudzenia gdy jest równa 1.

W skrócie: Neuron jest w stanie spoczynku lub pobudzenia w zależności od wartości zsumowanych wejść tego neuronu pomnożonych przez przypisane im wagi. 

Od neuronu do sieci

Mamy już pojedynczy neuron i wiemy jak on działa, ale co dalej? Teraz stworzymy całą sieć. W tym celu wyjścia jednego neuronu połączymy z wejściami innych. Warto jednak pamiętać, że część neuronów jako wejścia będzie posiadać dane wejściowe na podstawie których nasza sieć będzie wyliczać swoje wyjście. Neurony te stanowią warstwę wejściową. Z drugiej strony część neuronów będzie posiadała wyjścia nie podłączone do innych neuronów, lecz stanowiące wyjście całej sieci. Neurony te tworzą więc warstwę wyjściową. Cała reszta, która może łączyć się ze sobą w dowolny sposób (zaprojektowany oczywiście przez projektanta) nazywana jest warstwą ukrytą. W warstwie tej z reguły jest najwięcej połączeń oraz węzłów i od niej w dużej mierze zależy prawidłowość działania całej sieci. Schemat bardzo prostej sieci pokazano poniżej.

Podsumowanie

Wiemy już z czego składa się cała sieć, aż do pojedynczych części pojedynczego neuronu. Wiemy, że sieć składa się z wielu połączeń i każde z nich ma swoją wagę. Pozostaje nam więc jedynie odpowiedzieć na pytanie na czym polega proces uczenia maszynowego? Otóż polega on tylko i wyłącznie na doborze najoptymalniejszych wag dla każdego połączenia. Jest to proces który wymaga nieprawdopodobnej liczby obliczeń nawet przy niewielkich sieciach, lecz raz “wyuczona” sieć już tak skomplikowanych obliczeń nie potrzebuje dla prawidłowego działania. Dlatego też proces uczenia często wymaga dużej mocy obliczeniowej i zajmuje niemało czasu, natomiast sama sieć potrafi działać szybko nawet na mniej wydajnym sprzęcie. 

Jeśli interesuje Was ten temat i chcielibyście, abym opisał cały proces projektowania i uczenia sieci, dajcie proszę znać w komentarzach.

Na koniec chciałbym jeszcze przedstawić Wam cytat jednego z największych naukowców 2. połowy XX w.:

"Gdy (AI) osiągnie IQ 100 czy 150, nie będzie problemu. Ale gdy 1000 albo 10000, to co wtedy? To może być największe osiągnięcie ludzkości. Ale zarazem jej koniec."

Stephen Hawking

Bibliografia i inspiracje:

• Brain-wiki contributors, https://brain.fuw.edu.pl/edu/index.php/Uczenie_maszynowe_i_sztuczne_sieci_neuronowe (data dostępu 10.04.2021 r.)
• Smith Steven W.: Cyfrowe przetwarzanie sygnałów, BTC,Warszawa 2007
• https://www.youtube.com/watch?v=aircAruvnKk
• https://www.youtube.com/watch?v=437dvcP-09E

¹-od tego momentu matematyczny bełkot wszedł na ten poziom, że zacząłeś przewijać dalej?

Edytowano Kwiecień 13, 2021 przez Darlark

[Treker (Damian Szymański)]

@Darlark witam na forum! Twój wpis został właśnie zaakceptowany i jest już widoczny publicznie 🚀

[BananWszyscy]

Nie to, że się tam przyczepiam czy coś, ale wszelakie "artykuły" o sieciach neuronowych/uczeniu maszynowym/ogólnie statystyce (np przy big data, takie popularne teraz) wyglądają prawie tak samo, pisane są prawie takim samym językiem, jakby na wzór z jednego źródła każdy powielał prawie bez zmian. 😛

 

edit. dla przykładu jest mowa o funkcji sigmoidalnej -zamieniam się w kogoś, kto jest dość ciemny w temacie i z matematyką ma tyle wspólnego, co zwykle początkujący elektronik lub coś w podobie - a co to właściwie jest, a czemu to tak właściwie się używa, a może użyć czegoś innego?

Edytowano Kwiecień 13, 2021 przez BananWszyscy

[Darlark]

36 minut temu, BananWszyscy napisał:

edit. dla przykładu jest mowa o funkcji sigmoidalnej -zamieniam się w kogoś, kto jest dość ciemny w temacie i z matematyką ma tyle wspólnego, co zwykle początkujący elektronik lub coś w podobie - a co to właściwie jest, a czemu to tak właściwie się używa, a może użyć czegoś innego?

Przepraszam bardzo, ale nie przy dodawaniu artykułu nie załączyłem wykresu tej funkcji o którym wspomniałem w artykule. Mam nadzieję, że zostanie mi to wybaczone. Zaktualizowałem to teraz. 

Dodatkowo spieszę z wyjaśnieniami: Funkcja sigmoidalna jest często zwana "łagodnym progiem" jej wykres przypominana (moim zdaniem) pojedynczy stopień schodów o zaokrąglonych krawędziach. Chodzi o to by przyjmowała ona dwie skrajne wartości: 0 oraz 1. Przyjmuje ona 0 dla argumentów ujemnych i 1 dla argumentów dodatnich. Charakterystyczne zaokrąglenie (brak gwałtownych zmian na wykresie) sprawia ze możemy policzyć jej pochodną w każdym punkcie. Przydaje się to przy obliczeniach podczas procesu uczenia sieci. Poniżej załączam wykres znaleziony w sieci, gdzie widać: funkcję sigmoidalną (zwaną "łagodnym progiem"), funkcję liniową i skok jednostkowy (próg o gwałtownym skoku z 0 do 1 - nie różniczkowalny). 

PozDrawiam

Edytowano Kwiecień 13, 2021 przez Darlark

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[BananWszyscy]

Moim skromnym zdaniem na tym blogu takie tematy powinny być jak przedstawione jak dla typowego laika (przynajmniej wstępne pokazanie tematu). Nie chcę się czepiać tylko wskazuję jak wg mnie powinny wyglądać wstępy 😛 I np. można wreszcie gdzieś dodać takie uproszczenie np., że skok jednostkowy nie jest różniczkowalny, bo ma dziubki (do niektórych takie wyjaśnienie przemawia)

Cytat

wyłącznie na doborze najoptymalniejszych wag

No tu bym pomyślał nad doborem słów.

 

Edytowano Kwiecień 13, 2021 przez BananWszyscy

[Darlark]

@BananWszyscy dziękuję za opinię. Starałem się napisać ten artykuł w jak najprostszy sposób, tłumacząc wszystkie zagadnienia które wydawały mi się nowe i nie zagłębiając się w zagadnienia matematyczne. Jeśli Twoim zdaniem coś wytłumaczyłem niejasno proszę napisz co takiego, a chętnie postaram się to wyjaśnić. 

 

13 minut temu, BananWszyscy napisał:

Cytat

wyłącznie na doborze najoptymalniejszych wag

No tu bym pomyślał nad doborem słów.

Mógłbym Cię prosić o wyjaśnienie co masz na myśli?

PozDrawiam.

[BananWszyscy]

No ogólnie albo coś jest optymalne... albo nie jest 😛

[Darlark]

7 minut temu, BananWszyscy napisał:

No ogólnie albo coś jest optymalne... albo nie jest 😛

Hmmm rzeczywiście słuszny punkt widzenia 🙂 jednak wydaje mi się, że osoby dopiero wchodzące w dziecinę sztucznej inteligencji zrozumieją co miałem na myśli pisząc "najoptymalniejszych wag". Z drugiej strony można by to stwierdzenie rozwinąć do: wag przy których działanie sieci będzie najbardziej zbliżone do pożądanego. 

Jeśli zobaczę że temat cieszy się zainteresowaniem i znajdą się osoby, które będą chciały przeczytać inne artykuły o tej tematyce, najprawdopodobniej rozwinę ten artykuł do całej serii i dokładniej opisze cały proces uczenia. Tam też mógłbym więcej czasu poświecić na temat doboru, zmian oraz finalnych wartości wag.

PozDrawiam.

[bjrk]

Witam!

Nie mogę mówić za innych, ale określenie "najoptymalniejsze" odebrałem jako "możliwie zbliżone do optymalnych, przy istniejących ograniczeniach" i wydawało mi się całkowicie zrozumiałe w kontekście w którym zostało użyte.

Może trzeba by było powiedzieć coś w rodzaju "możliwie łatwych do obliczenia i wystarczająco zbliżonych do optimum wag aby uzyskać pożądane efekty" ale nie czepiajmy się, to nie jest praca naukowa.

Wspomniane wyżej ograniczenia istnieją w oczywisty sposób i mogą być różnego typu, od od naturalnych ograniczeń typu danych maszyny (np. nigdy i nigdzie nie uzyskamy "dokładnej" liczby π - oczywiście poza obliczeniami symbolicznymi), przez czas potrzebny do obliczeń, dostępną moc obliczeniową, dostępne algorytmy, złożoność obliczeniową algorytmów itd. itp. Było by interesujące (przynajmniej dla mnie) dowiedzieć się które z tych - i innych - ograniczeń są najistotniejsze i dlaczego.

I oczywiście coś o uczeniu. Może na jakimś bardzo prostym przykładzie.

Mnie osobiście interesuje dlaczego w większości artykułów które spotykam mówi się o sieciach które mają trzy warstwy neuronów. Czy przeprowadzano eksperymenty w których badano by inne struktury sieci, nie tylko liniowy układ warstw, i porównywano je między sobą.

 

                 Dziękuję za interesujący wpis.

                 Pozdrawiam

 

[BananWszyscy]

9 godzin temu, bjrk napisał:

Witam!

Nie mogę mówić za innych, ale określenie "najoptymalniejsze" odebrałem jako "możliwie zbliżone do optymalnych, przy istniejących ograniczeniach" i wydawało mi się całkowicie zrozumiałe w kontekście w którym zostało użyte.

Może trzeba by było powiedzieć coś w rodzaju "możliwie łatwych do obliczenia i wystarczająco zbliżonych do optimum wag aby uzyskać pożądane efekty" ale nie czepiajmy się, to nie jest praca naukowa.

Wspomniane wyżej ograniczenia istnieją w oczywisty sposób i mogą być różnego typu, od od naturalnych ograniczeń typu danych maszyny (np. nigdy i nigdzie nie uzyskamy "dokładnej" liczby π - oczywiście poza obliczeniami symbolicznymi), przez czas potrzebny do obliczeń, dostępną moc obliczeniową, dostępne algorytmy, złożoność obliczeniową algorytmów itd. itp. Było by interesujące (przynajmniej dla mnie) dowiedzieć się które z tych - i innych - ograniczeń są najistotniejsze i dlaczego.

I oczywiście coś o uczeniu. Może na jakimś bardzo prostym przykładzie.

Mnie osobiście interesuje dlaczego w większości artykułów które spotykam mówi się o sieciach które mają trzy warstwy neuronów. Czy przeprowadzano eksperymenty w których badano by inne struktury sieci, nie tylko liniowy układ warstw, i porównywano je między sobą.

 

                 Dziękuję za interesujący wpis.

                 Pozdrawiam

 

Nie no, trzeba pilnować języka, bo potem słyszy się w reklamach, że to auto ma najoptymalniejszy układ paliwowy ze wszystkich ( 😄 ). Skoro coś jest optymalne to już jest naj z jakiegoś względu i nie może być bardziej naj lub mniej naj - warto akurat to zapamiętać.

A czemu 3 warstwy? Już zwróciłem uwagę na początku - nieodparte wrażenie, że każdy powiela po swojemu to samo 😛

[Darlark]

3 godziny temu, BananWszyscy napisał:

Nie no, trzeba pilnować języka, bo potem słyszy się w reklamach, że to auto ma najoptymalniejszy układ paliwowy ze wszystkich ( 😄 ). Skoro coś jest optymalne to już jest naj z jakiegoś względu i nie może być bardziej naj lub mniej naj - warto akurat to zapamiętać.

A czemu 3 warstwy? Już zwróciłem uwagę na początku - nieodparte wrażenie, że każdy powiela po swojemu to samo 😛

Trzy warstwy:

1. wejściowa - wejściami jej neuronów są wejścia całej sieci;
2. wyjściowa -  wyjściami jej neuronów są wyjścia całej sieci;
3. ukryta - zarówno wejścia, jak i wyjścia jej neuronów są połączone z innymi neuronami

To są ogólne założenia. Warstwa ukryta może zawierać w sobie kilka "podwarstw". Początkową architekturę sieci ustala projektant. W procesie uczenia może się okazać ze niektóre połączenia lub nawet całe neurony (węzły) są nieistotne dla działania całej sieci. Najłatwiej to ustalić po wielkości wag. Czym większa wartość bezwzględna wagi przypisana do danego połączenia tym jest ono istotniejsze dla działania sieci.

 

[Harnas]

Dnia 13.04.2021 o 10:03, BananWszyscy napisał:

a czemu to tak właściwie się używa, a może użyć czegoś innego?

Sigmoid jest popularny bo swego czas była to pierwsza (więc wówczas jedyna) znana "możliwa" funkcja aktywacji. Później odkryto że nie musi to być sigmoid. https://en.wikipedia.org/wiki/Universal_approximation_theorem

Edytowano Kwiecień 20, 2021 przez Harnas