Pierwsze kroki z modułem Nvidia Jetson Orin NX

[Elvis]

Obraz systemowy zawiera przykład od nazwie "Collision Avoidance"

Niestety, przy próbie uruchomienia pojawia się błąd związany z brakiem pliku:

Plik "best_model.pth" zawiera wytrenowaną sieć. Przykładowy plik można pobrać z internetu, ma ponad 200MB, ale co najważniejsze - niekoniecznie będzie dopasowany do naszego środowiska. Więc najlepszym rozwiązaniem jest wytrenowanie sieci samemu.

Pierwszym krokiem jest zebranie danych. Potrzebujemy zdjęcia należące do 2 kategorii:

• gdy przestrzeń przed robotem jest wolna
• zablokowanej trasy

Do zbierania danych możemy wykorzystać przykładowy notebook "data_collection.ipynb":

Dalsza część przykładu dostarcza wygodny interfejs, w którym do zrobienia zdjęcia wystarczy nacisnąć przycisk "add free" lub "add blocked":

Zdjęcia są automatycznie zapisywane w odpowiednich katalogach na karcie sd. Zbieranie danych zajmuje sporo czasu, ja na początek przygotowałem nieco ponad 100 zdjęć wolnej trasy:

Oraz 100 zdjęć trasy zablokowanej:

Kolejnym krokiem było wytrenowanie sieci.

 

[Elvis]

Trenowanie sieci możemy wykonać wykorzystując kolejny przykładowy skrypt, tym razem o nazwie "train_model.ipynb".

Bazuje on na dość już starej sieci AlexNet (https://en.wikipedia.org/wiki/AlexNet) oraz technice znanej jako "transfer learning", która polega na modyfikacji już nauczonej sieci zamiast rozpoczynania całego procesu od nowa. Dzięki temu czas treningu jest o wiele krótszy, a co ciekawe trenowanie sieci można wykonać na płytce Jetson Nano.

Oczywiście w przypadku bardziej zaawansowanych sieci konieczne będzie użycie komputera z dobrym akceleratorem GPU, ale w przypadku AlexNet najprościej było po prostu uruchomić skrypt train_model.ipynb. Po kilku minutach wytrenowana sieć była gotowa i skrypt live_demo.ipynb mógł kontynuować działanie.

Efekty okazały się ciekawe, chociaż nie idealne:

Oczekiwałem trochę lepszych efektów, ale jak na pierwsze podejście widać że robot chwilami zachowuje się całkiem poprawnie. 

Jak widać początki z AI nie są tak proste jak można byłoby oczekiwać. Z drugiej strony to tylko pierwsza próba - w kolejnych krokach postaram się poprawić rezultaty.

 

[Treker (Damian Szymański)]

@Elvis dzięki za kolejne aktualizacje 🙂