Nauka machine learning - jak zacząć?

[mariuszz]

Witajcie, 

Skąd się uczyć jeśli chodzi o dziedzinę machine learning? są jakieś gotowe kursy?

[Gieneq]

Ja ze swojej strony polecam pyImageSearch. Jest tam wiele darmowych materiałów, programów, głównie w obszarze Pytona i OpenCV. Jest też kurs za jedyne 500$ 

[FlyingDutch]

20 godzin temu, mariuszz napisał:

Witajcie, 

Skąd się uczyć jeśli chodzi o dziedzinę machine learning? są jakieś gotowe kursy?

Cześć,

według mnie najłatwiej zacząć od biblioteki Keras (biblioteka do tworzenia ANN) do uczenia głębokiego. Jest ona napisana w Pythonie i łatwa do nauki.Bazuje na bibliotece "Tensor Flow" firmy Google. Tak naprawdę uczenie głębokie oparte na sztucznych sieciach neuronowych (ANN) polega na wykonywaniu wielu operacji arytmetycznych na wielowymiarowych tensorach (głównie mnożenia i dodawania). Tensory to uogólnienie macierzy znanych z algebry liniowej na liczbę wymiarów większych od dwóch (dla dużych sieci neuronowych liczba wymiarów tensorów wynosi nawet kilka milionów). Podstawowe algorytmy uczenia sieci neuronowych takie jak np. algorytm "stochastycznego spadku gradientu" (popularnie zwanym algorytmem propagacji wstecznej) są bardzo łatwe do zrozumienia. Biblioteka Keras pozwala tworzyć i trenować sieci neuronowe opierając się na ich wysoko-poziomowym modelu (nie trzeba znać niskopoziomowych implementacji sieci i algorytmów).

Proponuję zacząć od genialnej książki autora biblioteki Keras pt. "Deep Learning. Praca z językiem Python i biblioteką Keras":

https://helion.pl/ksiazki/deep-learning-praca-z-jezykiem-python-i-biblioteka-keras-francois-chollet,delepy.htm#format/d

Po przeczytaniu jej pierwszych 4 rozdziałów będziesz w stanie tworzyć własne modele ANN i je trenować z wykorzystaniem biblioteki Keras. Problemem jest sprzęt, tą bibliotekę mnożna uruchomić korzystając z CPU komputera, jednak dla bardziej skomplikowanych modeli sieci trzeba posiadać wydajną kartę grafiki firmy NVidia wspierającą technologię "CUDA" (nie mają dla niej wsparcia karty grafiki firmy AMD).. Najmniejszą kartą jaka ma sens jest model: GTX 1060:

https://allegro.pl/kategoria/podzespoly-komputerowe-karty-graficzne-260019?string=GTX 1060&stan=nowe&offerTypeBuyNow=1&utm_source=google&utm_medium=cpc&utm_campaign=_ELKTRK_Elektronika - Komputery - Pozostałe&ev_adgr=- Obraz i grafika - Karty graficzne - *GTX 1060&gclid=EAIaIQobChMI8-v4p5ns5QIVl-N3Ch2QLgB-EAAYASAAEgJcC_D_BwE&bmatch=baseline-cl-dict42-ele-1-3-1024

której cena nie jest najniższa. Po wytrenowaniu sieci neuronowej jej implementacja jest możliwa nawet na MCU STM32F4,

Polecam też dwa tutoriale na YouTube dla zupełnie początkujących:

oraz

 

 

BTW: badam też możliwości akceleracji sprzętowej dla sztucznych ANN dla procesorów "RISC-V" (posiadają wbudowany akcelerator dla ANN - procesor realizujący operacje tensorowe) oraz układów FPGA . Wyniki na razie są słabe ponieważ niedawno zacząłem ten temat

W Helionie jest też kurs wideo dotyczący biblioteki Keras (ale nie wiem ile jest wart ponieważ z niego nie korzystałem):

https://helion.pl/ksiazki/keras-w-praktyce-kurs-video-tworzenie-modeli-uczenia-glebokiego-radoslaw-slowinski,vwdeel.htm#format/w

Hej jestem winien małe sprostowanie bo wyraziłem się niepoprawnie (co innego miałem na myśli niż napisałem). Chodzi o liczbę wymiarów tensorów używanych w modelach sieci neuronowych, a dokładnie o ten fragment mojej wypowiedzi: (dla dużych sieci neuronowych liczba wymiarów tensorów wynosi nawet kilka milionów). W rzeczywistości przeważnie wystarczają tensory o pięciu wymiarach (dla analizy danych wideo rozumianych jako przetwarzanie plików wideo o określonej długości). Bardziej chodziło mi o właściwość tensora znaną jako jego kształt. Np dla tablicy dwuwymiarowej (macierzy) o liczbie wierszy równej 2400000 i liczbie kolumn równej 9 kształt takiego tensora wynosi [2400000, 9]]. Dla trenowania sieci neuronowej (np. klasyfikacja obrazów) stosuje się zbiory uczące o bardzo dużej liczbie próbek (jest to jeden z wymiarów tensora - przeważnie pierwszy). Stąd też operacja arytmetyczne na takich tensorach wymagają bardzo dużej ilości podstawowych działań arytmetycznych na liczbach zmienno-przecinkowych  (np., float32) - głównie  operacje mnożenia i dodawania. Operacje te można łatwo zrównoleglać na przykład na procesorach kart graficznych (GPU) lub układach FPGA, stąd te układy nadają się jako akceleratory (przyśpieszacze) dla uczenia sztucznych sieci neuronowych. Coraz częściej nowe procesory są wyposażane w takie akceleratory dla sztucznych sieci neuronowych (procesory wektorowe) np. wspomniane procesory "RISC-V" lub procesory "Kirin" będące bazą dla telefonó9w firmy "Huawei"

Pozdrawiam

Edytowano Listopad 15, 2019 przez FlyingDutch

[Harnas]

5 godzin temu, FlyingDutch napisał:

Problemem jest sprzęt, tą bibliotekę mnożna uruchomić korzystając z CPU komputera, jednak dla bardziej skomplikowanych modeli sieci trzeba posiadać wydajną kartę grafiki firmy NVidia wspierającą technologię "CUDA" (nie mają dla niej wsparcia karty grafiki firmy AMD)

GPU jest potrzebne gdy używa się naprawdę sporych zbiorów danych. Dla mniejszych problemów spokojnie wystarcza CPU, nigdy na GPU nie uczyłem modelu dłużej niż ~30 minut. Zwykle większym problemem jest ilość RAMu w GPU, którego nie ma z uczeniem na CPU. I tak 90% czasu zajmuje preprocesing danych.

Na Radeonach tensorflow też działa: https://github.com/ROCmSoftwarePlatform/tensorflow-upstream/blob/develop-upstream/README.ROCm.md . Sam tak używam (w połączeniu z Kerasem).

5 godzin temu, FlyingDutch napisał:

Po wytrenowaniu sieci neuronowej jej implementacja jest możliwa nawet na MCU STM32F4

Bardzo proste tak Ale raczej idziemy w kierunku IoT które wysyłają dane na klastry

Edytowano Listopad 15, 2019 przez Harnas

[FlyingDutch]

7 minut temu, Harnas napisał:

GPU jest potrzebne gdy używa się naprawdę sporych zbiorów danych. Dla mniejszych problemów spokojnie wystarcza CPU, nigdy na GPU nie uczyłem modelu dłużej niż ~30 minut. Zwykle większym problemem jest ilość RAMu w GPU, którego nie ma z uczeniem na CPU. I tak 90% czasu zajmuje preprocesing danych.

Na Radeonach tensorflow też działa: https://github.com/ROCmSoftwarePlatform/tensorflow-upstream/blob/develop-upstream/README.ROCm.md . Sam tak używam (w połączeniu z Kerasem).

Bardzo proste tak Ale raczej idziemy w kierunku IoT które wysyłają dane na klastry

Cześć,

nie wiedziałem, że jest wsparcie dla "tensor flow" dla kart AMD, ale to dla mnie bardzo dobra wiadomość

Dzięki za odpowiedź

Pozdrawiam

[FlyingDutch]

Cześć,

jeśli ktoś z WAS myśli o implementacji ANN na mikro-kontrolerach STM32xx to warto zapoznać się z tymi linkami:

https://blog.st.com/stm32cubeai-neural-networks/

https://www.st.com/en/embedded-software/x-cube-ai.html

https://www.st.com/content/st_com/en/stm32-ann.html

https://www.deeplearningedge.com/implementing-logic-gates-with-a-neural-network/validate-keras-model-on-stm32/

Pozdrawiam

[Treker (Damian Szymański)]

Chyba w tej kwestii będzie miał też coś do powiedzenia @Elvis - to właśnie tym ostatnio się bawiłeś?

[Elvis]

Powiedziałbym bardziej że widziałem przykłady użycia sieci neuronowych na STM32 podczas szkolenia. Były to faktycznie małe sieci, ale stm całkiem sprawnie sobie radził.

Moim zdaniem w przypadku mikrokontrolerów mogłoby być ciekawe użycie sieci neuronowych do wstępnego przetwarzania mniejszych zbiorów danych niż w przypadku obrazu - np. analizować dane z akcelerometru, czy żyroskopu.

Z ciekawostek - w sieci są przykłady używania ML do nauki "chodzenia" przez roboty. Planowałem więcej się tym pobawić, ale jak zwykle - brakuje czasu

[FlyingDutch]

Cześć,

mam pytanie do kolegi @Harnas "Pod jakim systemem operacyjnym pracujesz z Keras'em i jakiej karty graficznej (model) używasz ?".

Pozdrawiam

[Harnas]

@FlyingDutch Ubuntu (konkretnie KDE Neon, niedawno przełączyłem się na Kubuntu 18.04, zainstalowałem ale jeszcze nie odpaliłem). Co do GPU to RX470, wymagana jest minimum seria RX4xx, na RX380 nie chciało mi działać bo ma zbyt niską wersję GCN.

[FlyingDutch]

2 godziny temu, Harnas napisał:

@FlyingDutch Ubuntu (konkretnie KDE Neon, niedawno przełączyłem się na Kubuntu 18.04, zainstalowałem ale jeszcze nie odpaliłem). Co do GPU to RX470, wymagana jest minimum seria RX4xx, na RX380 nie chciało mi działać bo ma zbyt niską wersję GCN.

Cześć,

no właśnie widzę, że będę musiał kupić lepszą kartę grafiki ;). Aktualnie mam Radeona z seri R7 230 i nie mogłem na nim odpalić "tensor flow". Chyba zdecyduję się na Nvidia'ę bo wsparcie dla "CUDA" jest wymagane jeszcze do kilku innych framework' ów  które mnie interesują.

Bardzo dziękuję Ci za odpowiedź

Pozdrawiam

[Itap88]

Witam. Nie jestem zbytnio obeznany w temacie, ale chciałbym spytać, czy jest biblioteka do machine learning w języku C++.

[Elvis]

Dla mikrokontrolerów są biblioteki np. od ST: https://www.st.com/en/embedded-software/x-cube-ai.html

Cały trening sieci wykonuje się "jak zwykle" za pomocą narzędzi opartych o Pythona, ale nauczoną sieć można skonwertować na zminimalizowaną postać dopasowaną do mikorokontrolera, którą obsługują biblioteki napisane w C.

 

[wojciech61]

Też mnie zaczął mocniej interesować ten temat, wiedziałem na jakie forum wejść żeby uzyskać więcej informacji  

[radek04]

Czy można gdzieś znaleźć poradnik, jak krok po kroku przygotować taki projekt w X-CUBE-AI? Chodzi mi o przygotowanie zbioru uczącego, klasyfikację, implementację itp. Oglądałem filmiki ze strony st, ale trochę to dla mnie chaotyczne i zbyt ogólne. 

Edytowano Marzec 20, 2020 przez radek04