Freestyle AgeBot

[kampo]

Witam 🙂

Od około półtora roku interesuję się sztuczną inteligencją, zwłaszcza zastosowaną w robotyce. Jest to dla mnie niezwykle ciekawy temat 🙂 Kilka miesięcy temu zacząłem pracować nad moim prywatnym projektem, który cały czas jest w fazie rozwoju. Pewne elementy, takie jak uczenie się poprzez rozmowę z człowiekiem są gotowe, więc postanowiłem nagrać poniższe filmy:

 

 

AgeBot podłączony jest do internetu. Platforma to gotowa konstrukcja - AlphaBot-PI. Użyłem jej, aby szybciej skupić się na oprogramowaniu. W ostatnim czasie domykałem widoczne na filmach możliwości robota i w międzyczasie zacząłem pracę nad wykorzystaniem kamery (aktualny stan to ~30%). W bliskiej przyszłości platformę mam zamiar wymienić na coś bardziej zaawansowanego lub zbudować swoją, ponieważ ta zaczyna mnie powoli ograniczać (pod względem hardware'u). Jej specyfikacja dostępna jest w internecie (np. na stronie firmy Waveshare), więc nie będę kopiował 😉

Jak już zauważyliście - używam Raspberry PI. Oprogramowanie na malinkę napisałem w C++, pozostała część to C++ oraz Python. Systemem jest Raspbian. Do zautomatyzowania instalacji niektórych zależności w systemie (akurat w przypadku samej malinki) używam narzędzia Ansible, a o te krytyczne dla działania aplikacji dba manager pakietów (apt, buduję paczki .deb).

Do przetwarzania tekstu użyłem biblioteki Tensorflow, natomiast w procesie uczenia się, robotowi asystuje wnioskowanie. Kamera i przetwarzanie obrazu otworzy wiele nowych drzwi, ułatwi również pracę przy kolejnej domenie - planowaniu zadań.

Sam robot jest stosunkowo małą częścią projektu, ale o tym... w przyszłości 😉 Każdy feedback mile widziany 🙂 

Pozdrawiam

PS: W ciągu kilku dni napiszę posta z trochę bardziej szczegółowymi informacjami odnośnie przetwarzania tekstu - czatowania z robotem

 

[Treker (Damian Szymański)]

@kampo ciekawa konstrukcja, takiego sposobu sterowanie robotem jeszcze nikt u nad nie opisywał chyba 😉 Skąd pomysł na tego typu sterowanie? Jakie problemy napotkałeś?

PS Dodaj jakieś zdjęcia robota do opisu to przypomnę go na liście DIY: https://forbot.pl/forum/ourpicks/

[kampo]

Dnia 25.05.2019 o 08:03, Treker napisał:

Skąd pomysł na tego typu sterowanie?

Oprócz czatowania mam w planie również zamontować jakiś głośnik z mikrofonem, aby można było z robotem porozmawiać. Sam czat stworzył pewne podwaliny pod tę warstwę, do tego jest elementem projektu, o którym wspomniałem na końcu posta 🙂

Dnia 25.05.2019 o 08:03, Treker napisał:

Jakie problemy napotkałeś?

Jeśli chodzi o czatowanie i przetwarzanie tekstu, to dobranie odpowiednich parametrów modelu tak, aby miał jak największą, poprawną trafność tego, "co ja chcę od robota", niezależnie od trenowania modelu.

 

[ethanak]

Z ciekawości - w jakim języku chcesz rozmawiać z robotem? Polski czy angielski?

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[Treker (Damian Szymański)]

Patrząc na filmiki wychodzi na to, że po angielsku - pytanie więc do @kampo czy planuje dodać język polski 😉

PS Dzięki za zdjęcie, już dodałem tam gdzie trzeba.

[kampo]

Dnia 25.05.2019 o 14:41, ethanak napisał:

Z ciekawości - w jakim języku chcesz rozmawiać z robotem? Polski czy angielski?

16 godzin temu, Treker napisał:

Patrząc na filmiki wychodzi na to, że po angielsku - pytanie więc do @kampo czy planuje dodać język polski 😉

Na ten moment mój serwis wspiera tylko język angielski, ponieważ jest prostszy w "obróbce" (przynajmniej prostszy od polskiego, ale o tym w nadchodzącym poście). Dodam język polski na pewno, natomiast nie zastanawiałem się nad docelowym językiem komunikacji z moim robotem - w sumie fajna okazja do przećwiczenia angielskiego, co w sumie robię w pracy, więc bardziej byłbym za polskim 😉 Czat w filmikach jest po angielsku, żeby rozumiała większa ilość osób, o czym się tam rozmawia (przynajmniej wydaje mi się, że tak jest) 🙂

16 godzin temu, Treker napisał:

PS Dzięki za zdjęcie, już dodałem tam gdzie trzeba.

Super, dziękuję 🙂

PS: Wspomniałem o poście. Mam zamiar napisać tam nieco szczegółowych informacji o samym procesie przetwarzania tekstu i dać taki punkt startowy dla tych, który się zainteresują. I tutaj mam do Was pytanie, czy bylibyście zainteresowani zrobić też takie sterowanie w Waszych konstrukcjach? Zaznaczam, że to wcale nie musi być robot. Możecie nawet swojemu "asystentowi" (który byłby kawałkiem programu) powiedzieć lub napisać, żeby przestać grzać w mieszkaniu, bo za gorąco 😉 Robot, dron, asystent, autonomiczny odkurzacz lub coś, do czego sięga Wasza fantazja. 

[ethanak]

Parę lat temu (jeszcze w czasach pierwszych wersji Raspberry) powstał w Hiszpanii wózek inwalidzki sterowany głosem (pocketsphinx). Może coś w tym kierunku?

Bo mój sterownik do pieca co prawda potrafi gadać (nawet po polsku), ale sam przestaje grzać jak jest za gorąco (termometr jest jednak tańszy i prostszy w oprogramowaniu 🙂 )

[Treker (Damian Szymański)]

9 godzin temu, kampo napisał:

PS: Wspomniałem o poście. Mam zamiar napisać tam nieco szczegółowych informacji o samym procesie przetwarzania tekstu i dać taki punkt startowy dla tych, który się zainteresują. I tutaj mam do Was pytanie, czy bylibyście zainteresowani zrobić też takie sterowanie w Waszych konstrukcjach?

Pewnie, mało jest takich informacji, więc każdy poradnik się przyda 🙂 Możesz np. opublikować swój artykuł w poniższym dziale. Wtedy trafi do największego grona potencjalnych odbiorców: https://forbot.pl/forum/kategoria/5-artykuly-uzytkownikow/

[kampo]

3 godziny temu, ethanak napisał:

sam przestaje grzać jak jest za gorąco (termometr jest jednak tańszy i prostszy w oprogramowaniu 🙂 )

Jasne, może podałem nienajlepszy przykład, ale wiadomo o co chodzi 🙂 

Dodam jeszcze, że nie tylko ja muszę inicjować odpowiedź robota. On sam też do mnie pisze, jeśli np. wywnioskuje, że kończy mu się bateria, więc powinien zwolnić, aby ograniczyć zużycie prądu i poinformować mnie o tym, żeby naładować akumulator. W planach mam również zrobienie stacji dokującej (raczej dalszy plan), aby nie zawracał głowy 😉

Edytowano Maj 27, 2019 przez kampo

[kampo]

Dnia 24.05.2019 o 18:21, kampo napisał:

PS: W ciągu kilku dni napiszę posta z trochę bardziej szczegółowymi informacjami odnośnie przetwarzania tekstu - czatowania z robotem

 

Dnia 27.05.2019 o 06:11, Treker napisał:

Pewnie, mało jest takich informacji, więc każdy poradnik się przyda 🙂 Możesz np. opublikować swój artykuł w poniższym dziale. Wtedy trafi do największego grona potencjalnych odbiorców: https://forbot.pl/forum/kategoria/5-artykuly-uzytkownikow/

Właśnie opublikowałem artykuł, także zapraszam: https://forbot.pl/forum/topic/16344-wstep-do-przetwarzania-jezyka-naturalnego---klasyfikacja-tekstu/ 🙂 

[kampo]

Dnia 24.05.2019 o 18:21, kampo napisał:

w międzyczasie zacząłem pracę nad wykorzystaniem kamery (aktualny stan to ~30%)

Stało się - AgeBot zyskał możliwość "paczania" 🙂 Na pierwszy rzut zaimplementowane zostało rozpoznawanie i uczenie się (oczywiście dowolnej ilości) twarzy z wykorzystaniem wcześniej zaprezentowanych umiejętności robota, ale to dopiero początek... 🙂 

 

[kampo]

Cześć wszystkim,

dawno nic nie wrzucałem, ale projekt powoli, konsekwentnie idzie do przodu 🙂

W celu ułatwienia sobie życia popełniłem taką oto symulację AgeBota, do której dojdzie jeszcze kilka elementów, m.in. przetwarzanie obrazu z symulowanej kamery czy sygnałów z kamery RGBD (np. Kinect) i/lub Lidar.

Co dalej?

Od niedawna pracuję nad mapowaniem przestrzeni 3D oraz lokalizacją i nawigacją robota, co może potem zostać użyte w planowaniu tras, np. przy zadaniu "Podaj piwo" - gdy już nauczy się (lub ja nauczę go), gdzie jest lodówka i jak do niej dojechać, jak ją otworzyć i jak wygląda piwo 🙂

Za pomocą jednej kamery, która znajduje się aktualnie na pokładzie robota, jestem w stanie zaimplementować odometrię, a nawet kamerę RGBD czy inne ciekawe fajerwerki, ale nie będą to obliczenia z dużą dokładnością, bo jednak wciąż jest to jeden, płaski obraz (być może wrzucę jakiś materiał z tym związany, ale jako ciekawostkę). Także nadszedł już czas, aby też myśleć nad nową, nieco bardziej zaawansowaną platformą 😉 Czy ktoś z Was mógłby podpowiedzieć, gdzie takowej szukać, która zawierałaby kamerę RGBD, opcjonalnie lidar, sensowną kolekcję czujników i byłaby gotowa (najwyżej do złożenia) we w miarę przystępnej cenie (załóżmy budżet do 5000zł)?

Edytowano Październik 7, 2019 przez kampo

[Treker (Damian Szymański)]

@kampo super, że projekt się rozwija 🙂 Wygląda to świetnie!

Jeśli szukasz jakiś bardziej rozbudowanych robotów to zerknij na konstrukcje, które są "dedykowane" pod ROS'a, czyli np. TurtleBoty: https://www.turtlebot.com/ Masz tam przykładowe konstrukcje idealne pod pojazdy z lidarem. Do tego typu projektu powinno nadać się idealnie. Jak szukasz czegoś większego to może taka konstrukcja się nada: https://www.dfrobot.com/product-361.html

[kampo]

@Treker Dziękuję, platformy wyglądają ciekawie, także przyjrzę się im "z bliska" 🙂 

[Treker (Damian Szymański)]

@kampo jak idą dalsze prace? Są jakieś ciekawe aktualizacje? 😉