Przeszukaj forum

Zbudowałem jeżdzącego robota na bazie standardowego podwozia, który ma jeździć zdalnie rozpoznawać obrazy Cieszę się bo było to pierwszy kontakt z technologią Tensorflow Lite i widzę jak fajne możliwości daje to na urządzeniach drobnych, niepodłączonych do internetu. Oryginalny wpis z mojego bloga znajdziecie tu: https://lukaszkuczynski.github.io/Machina-ze-slaboscia/ Github z projektem jest tu: https://github.com/lukaszkuczynski/rpi80b3 Dlaczego samochód? Od kiedy kupiłem pojedynczy silnik krokowy musiał odczekać swoje. Przeleżał dobre kilka tygodni w pudełku. Ale potem przemyślałem sprawę i zanim zaprojektowałem kolejny system z sensorem pomyślałem - jakie miałem myślenie w dzieciństwie? Zrobić autko, którym da się sterować. Zdalnie sterować. A dziś radio jest już wszędzie, wszystkie nasze mniejsze i większe urządzenia “chodzą po BT / WIFI”. A gdzieś na półce leżał czarny i zakurzony mały komputerek - Raspberry 3B. Machina działa w dwóch trybach pracy. Możliwe jest zdalne sterowanie i obserwowanie w kamerze gdzie jadę. Brak jakiejkolwiek stabilizacji więc obraz jakiego doświadczam wygląda mniej więcej tak. Jest tak zapewne dlatego że mocowanie to kawałek kartoniku. Gdy tylko dobiorę się do drukarki 3D albo z kolegą zaprojektuje mały stelaż będzie na pewno lepiej. Mogę też badać działanie uczenia maszynowego. Oczywiście nie trenowałem sieci neuronowej samemu bo choć bawiłem się już ML to nie miałem doświadczenia z badaniem obrazów - Computer Vision. Dlatego podstawiłem gotowy model w Tensorflow, który jest już wytrenowany na przykładowych obiektach. Oparty jest na zbiorze COCO . Aktualnie program jest tak ustawiony że gdy wykryty zostanie obiekt typu pomarańcz to pojazd wykonuje kilkusekundowy krótką jazdę wprost. Nie ma tu na razie logiki, która dostosowywała by tor jazdy do tego gdzie dokładnie ta pomarańcz stoi. Program do sterowania zdalnego to prosta aplikacja we Flasku. Komunikacja z silnikami odbywa się poprzez nadawanie sygnału PWM. Z kamerą mam dwie opcje do wyboru. Pierwszą jest zwyczajne przekierowanie obrazu na streaming HTML. Drugą jest detekcja obrazu. Jak to już wcześniej zaznaczyłem Tensorflow odwala tutaj brudną robotę. Detekcja polega na prostym klasyfikowaniu obrazów pochodzących z kamery z gotowym modelem zaczytanym z repozytorium. W moim wypadku jest tutaj klasyczny model COCO z 90 klasami obiektów. Cele na przyszłość: więcej czujników - np detekcja przeszkód korzystając z ładniejsza obudowa 🙂 mniej baterii / zasilić wszystko z 1 źródła po detekcji obiektu zmierzać do obiektu, mądrze regulacja prędkości ładniejsza aplikacja webowa