Zamyotek - Jetson Nano + ESP 32. Łazi za mną i rozpoznaje.

[lukasz-dev]

Cel na ten rok osiągnięty. Udało się wypuścić pierwszą wersję mobilnego robota, który zapewnia interakcję z otoczeniem. Co prawda musiałem zmienić koncepcję, ponieważ na początku chciałem raczej śledzić małe przedmioty i umieszczać je w odpowiednich “pudełkach”, ale używany przeze mnie model ma zdecydowanie lepszą dokładność na dużych obiektach (SSD Mobilenet v2). Dopuściłem się też retrenowania modelu, ale ostatecznie go nie wykorzystałem z uwagi na małe rozmiary obiektów (awokado, czosnek).

Dokładny opis projektu znajdziesz tutaj na Github https://github.com/lukaszkuczynski/zamyotek

Jest tam też krótkie wideo w opisie projektu z GitHub.

Co mnie zachwyciło

Jetson Nano z jego GPU to na prawdę różnica ponad próbami uruchamiania ML on device w porównaniu z Raspberry. Oczywiście istnieje pewien narzut związany z TensorRT - biblioteką dedykowaną dla Jetson Nano, ale o tym w sekcji o problemach. Ale poza pewnymi ograniczeniami wydajność takiego systemu jest po prostu świetna i działa to w czasie rzeczywistym, spokojnie osiągając ponad 30 FPS podczas detekcji obiektów. To już nie te prace z TF lite.

Czego się nauczyłem

Decoupling jest super

Decoupling, czyli tzw. luźne wiązanie znałem już wcześniej z dobrych zasad programowania obiektowego aplikacji (pozdrawiam Javo-wców), ale stworzenie samemu węzłów i korzystanie z MQTT do przepływu komunikacji było całkiem fajnym ćwiczeniem i działa to nieźle. Oczywiście inspirowałem się na ROS — trochę nie chciało się go uczyć. Ale korzystanie z MQTT ma swoje zalety, można to ładnie podglądać korzystając z gotowych narzędzi (MQTT EXplorer) a także bezboleśnie podłączyć do chmurowych dostawców (np. AWS IoT).

ESP + SBC jest łatwe!

Pierwotnie myślałem, żeby łączyć moje urządzenia bezpośrednio do Jetson Nano. Ale miałem wewnętrzne opory (wiem, pewnie nieuzasadnione), że nie mam do końca zaufania zwłaszcza do tańszych czujników — co one dadzą na wyjściu i czy na pewno będą zachowywać 3.3 V ograniczenie. Więc pomyślałem, że mogę zaprząc do pracy relatywnie tanie mikrokontrolery (mam trochę ESP32 w zapasie) i niech one raportują do dużego komputera (Nano). I działa to super! Na tyle fajnie, że użyłem ich nie tylko jako dostawcy danych z sensorów, ale też jako narzędzia wykonawcze (Jeston ma bodajże tylko 2 kanały PWM a ja potrzebowałem 5). Zasilanie i obsługa komunikatów płynie po jednym kablu USB a ja komunikuję się w określonej prędkości transmisji szeregowej. To było proste!

ML jest super proste z chmurą

Poza śledzeniem Zamyotek potrafi też „mówić co widzi”. Do wykonania jednej funkcjonalności nie użyłem bezpośrednio Jetson Nano, choć jest to możliwe. Chciałem skrócić sobie “time to market”, więc wykorzystałem osobiste konto na AWS, żeby użyć 2 usług — Rekognition (https://aws.amazon.com/rekognition/)  i Polly (https://aws.amazon.com/polly/). Nie są one darmowe, ale to też nie majątek. Jedynie czego się obawiałem to tego, że praca nad takim rozwiązaniem będzie wiązała się z jakimś tworzeniem plików tymczasowych i przesyłaniem ich pomiędzy moim komputerem Jetson a chmurą. A tu nie! To jest naprawdę banalne, przesyłam i odbieram strumienie bajtów. Zarówno Rekognition jak i Polly potrafi robić to „od ręki”. Możesz sam to zobaczyć w plikach, które zawierają definicje węzłów `rekognition_node.py` i `speak_node.py`.

Jakie były problemy

własny model z Tensorflow 1 Object Detection

Gdy chciałem zbudować mój własny model i skompilować do TensorRT musiałem cofnąć się w czasie i używać Tensorflow v.1 (tutaj jest mała dokumentacja, żeby to powtórzyć https://github.com/lukaszkuczynski/my-tensors). Próby kompilacji modeli Tensorflow OD v.2 do TensorRT spełzły na niczym. Ale może Ty będziesz miał więcej szczęścia?

współpraca z serwo

Z jakiegoś dziwnego powodu moje ESP32 były bardzo wybredne w wyborze portów do pracy z PWM i serwo. Nie jestem pewien czy to kwestia zepsutego serwo, czy uwalonych pinów ESP, ale nie działało to od ręki na portach, które ogólnie działały dobrze jako OUT. Poza tym miałem ciekawe problemy gdy na jednym ESP32 sterowałem 4 kanałami na silniki i tam chciałem podłączyć serwo. Nie współpracowało, dlatego byłem zmuszony do użycia 3 sterownika.

niełatwo dobrać silniki 

Nie było też łatwe dobrać silniki. Cała platforma z bateriami i powerbank oraz Jetson trochę waży, więc musiałem się przesiąść na inne silniczki. Tylko nie są one dobrze umocowane przez to teraz, bo nie mam oryginalnych trzymajek do nich.

Muszę nad tym popracować

Obudowa jest naprawdę słaba, przyznaję. Trzeba nad tym popracować. Poza tym  musiałbym jakoś ładnie osadzić wszystkie elementy, żeby nie latały, a kable nie wisiały bezwładnie.

[wn2001]

@lukasz-dev Gratuluję ciekawego projektu

Dnia 27.12.2021 o 18:10, lukasz-dev napisał:

Dokładny opis projektu znajdziesz tutaj na Github https://github.com/lukaszkuczynski/zamyotek

Drobna uwaga, link po kliknięciu nie przekierowuje na GitHub'a; a na stronę, na której się znajdujemy

Czy mogę podpytać, gdzie kupiłeś Nano (widzę wersję 4GB)? Teraz są poważne problemy z dostępnością, wersja 2GB kosztuje blisko 600PLN i zastanawiam się, czy ta wersja też byłaby dobra "na start" do hobbystycznych eksperymentów (przykładowo, najtańsza, którą udało mi się znaleźć: https://pl.aliexpress.com/item/1005002354190412.html )?

Pozdrawiam
wn2001

Edytowano Luty 3, 2022 przez wn2001

[lukasz-dev]

Jak mogę edytować post? nie widzę tej opcji. Wielkie dzięki za uwagę, postaram się zmienić tego linka.

Kupiłem wersję 2GB, widzę że maja nadal w Kamami, w podobnej cenie jak kupiłem w listopadzie. Dali w gratisie moduł WIFI, żeby uzupełnić brak łączności wbudowanej na Jetsonie..

https://kamami.pl/komputery-nvidia-jetson/581786-zestaw-deweloperski-nvidia-jetson-nano-arm-cortex-a57-143ghz-2gb-ram-nvidia-maxwell.html

[99teki]

edycja 3 kropki w prawym górnym rogu

[lukasz-dev]

Tak się domyślałem. Ale tego pierwszego posta nie mogę edytować. Kolejne już tak..

[wn2001]

11 godzin temu, lukasz-dev napisał:

Kupiłem wersję 2GB, widzę że maja nadal w Kamami, w podobnej cenie jak kupiłem w listopadzie. Dali w gratisie moduł WIFI, żeby uzupełnić brak łączności wbudowanej na Jetsonie..

https://kamami.pl/komputery-nvidia-jetson/581786-zestaw-deweloperski-nvidia-jetson-nano-arm-cortex-a57-143ghz-2gb-ram-nvidia-maxwell.html

@lukasz-dev Również dziękuję za odpowiedź  Już próbowałem kupić i na dzień dzisiejszy wymieniony przez Ciebie sklep nie posiada powyższej pozycji, podobnie jak inne sklepy o podobnym profilu sprzedaży działające w Polsce - nie ma żadnych płytek z serii Nano, nie ma nawet potwierdzonych terminów dostaw (dodam, ze sprawdzałem również hurtownie sprzedające zza granicą "na całą Europę", wszędzie płytki Nano mają status "Out of stock") - stąd moje pytanie o AliExpress, bo to chyba jedyne miejsce, gdzie można jeszcze omawiany produkt zakupić "z magazynu" 

Pozdrawiam
wn2001