Freestyle Veides - trochę inteligencji dla Twojego robota

[kampo]

Cześć!

Chciałbym podzielić się z Wami projektem rozwijanym przeze mnie równolegle do AgeBota (który zresztą na tejże platformie bazuje) o nazwie Veides.

A co to?

Głównym celem Veidesa jest umożliwienie każdemu korzystania z dobrodziejstw Sztucznej Inteligencji bez konieczności posiadania zaawansowanej wiedzy na temat działania poszczególnych algorytmów z tej dziedziny, co pozwala skupić się na tworzeniu rozwiązań, a nie rozwiązywaniu problemów.

A do czego to?

Jednym z założeń Veidesa jest to, aby mógł współpracować z dowolnymi urządzeniami (robotami, robotycznymi ramionami, wszelkimi DIY, Smart Home), którym przyda się trochę inteligencji. Nie ma wymogu posiadania warstwy sprzętowej, więc wszystko zależy od fantazji. Wystarczy połączenie z internetem.

A co to potrafi?

Jednym z głównych elementów systemu są tzw. przepływy. Określają one wysokopoziomowe zachowanie Waszego robota, urządzenia czy oprogramowania (dalej "agent"), a definiuje się je za pomocą graficznego edytora w konsoli:

Przepływy można zdefiniować jako bazę wiedzy każdego agenta, która potem ewoluuje w zależności od środowiska, w jakim agent się znajduje czy w jakie interakcje z nim wchodzi. Uczy się, trochę jak dziecko 🙂 

Idąc nieco w przód, wymarzyłem sobie świat, w którym to robot przyrządza i podaje mi rano kawę. Przygotowanie kawy dla nas jest czymś względnie prostym, natomiast dla robota już niekoniecznie. Z jego punktu widzenia jest to dosyć skomplikowana sekwencja czynności do wykonania, gdyż musi posiadać wiedzę na temat środowiska zaczynając od tego gdzie jest czajnik czy ekspres, przez to gdzie są kubki (oraz czy mam jakieś preferencje co do kubka) i ile czasu kawę należy parzyć (jeśli użyje czajnika). Być może znacząco uprościłem, ale myślę, że to oddaje obraz złożoności tego zadania. Jeśli dołożymy zmieniające się, dynamiczne środowisko gdzie ktoś może przestawić czajnik/ekspres lub na drodze do nich pojawi się niespodziewana przeszkoda, to jeszcze bardziej zwiększamy poziom skomplikowania.

I tutaj wkracza Veides. Rolą platformy w tym wszystkim jest koordynacja wykorzystywania zgromadzonej wiedzy oraz zdobywania nowej. Nasze zadanie to - w przypadku robota - reagowanie w pożądany sposób "sprzętem" na przychodzące akcje, czyli konkretne instrukcje do zrobienia:

1. Jedź prosto 3 metry
2. Obróć się w lewo o 30 stopni
3. itd...

Analogicznie w przypadku innych urządzeń i oprogramowania. Dzięki systemowi możemy lepiej skupić się na tym co chcemy osiągnąć.

Powyższą wizję powoli wdrażam. Na początek AgeBot jest w stanie uczyć się pewnych zachowań, może także zapamiętać twarze i przypisać do nich imiona oraz oczywiście posiada wiele innych możliwości, np. reagowanie na krytyczny stan baterii - w czym pomaga Veides.

Następnym modułem systemu jest wbudowany czat tekstowy, dzięki któremu mamy możliwość komunikowania się z agentem za pomocą języka naturalnego. Komunikacja jest dwustronna, tzn. można ten kanał wykorzystać do wydawania poleceń ("Skocz po piłkę") oraz do tego, aby agent informował nas o ważnych zdarzeniach ("Chodźcie, Adaś skacze!"). Istnieje także możliwość "poproszenia" o kilka zadań, które wykonają się sekwencyjnie, dodatkowo można te zadania "odkładać" na później (przykład w tym filmie) czy ustawić sobie budzik. Polecenia nie muszą być wykonywane natychmiast. Jednym z kolejnych kroków w rozwoju modułu komunikacji będzie m.in. komunikacja głosowa.

Kolejny moduł to kokpit, w którym możemy na żywo obserwować działanie agentów dostosowane do naszych potrzeb:

A jak się tego używa?

Do projektu spisana jest dokumentacja zawierająca najważniejsze informacje (m.in. tutorial jak zacząć), które w miarę możliwości uzupełniam.

Zarówno dokumentacja, konsola oraz moduł czatu wspierają obecnie jedynie język angielski.

Veides dostarcza SDK dla Pythona, C oraz dla aplikacji ROS paczkę zawierającą node (gotowy przykład znajduje się na GitHubie). Bilbioteki SDK dla innych technologii (NodeJS, Java (również w kontekście Androida), Arduino oraz ROS2) zostaną zaimplementowane w niedalekiej przyszłości, jeśli będzie taka potrzeba.

A kiedy to?

Veides jest aktualnie w fazie alfa, jednak minimalna ilość funkcjonalności jest już dostępna niepublicznie.

Użytkownikom forum chcącym sprawdzić jak Veides działa w praktyce, chętnie dam dostęp do systemu na miesiąc (poproszę zgłosić się w wiadomości prywatnej), a jeśli projekt się spodoba, po miesiącu zastanowimy się co dalej 🙂 W zamian jedyne o co bym prosił to podzielenie się opinią o projekcie. Takie możliwości jak nauka zachowań czy twarzy na razie są dostępne tylko dla AgeBota, ale oczywiście zostanią wraz z rozwojem platformy udostępnione.

A co dalej?

Projekt rozwijam systematycznie w ramach hobby, co sprawia mi mnóstwo frajdy. Mam wiele pomysłów bezpośrednio dotyczących rozwoju AgeBota jak i tych dotyczących ekosystemu Veidesa, które powoli wcielam w życie. Na razie konkretnych dat nie jestem w stanie podać, ale na pewno w tym wątku będę Was na bieżąco informował o wszelkich postępach.

Zachęcam także do śledzenia wątku AgeBot.

Jeśli macie jakieś pytania, opinie, wątpliwości - zapraszam do dyskusji 🙂

[kampo]

Witajcie ponownie!

Dokumentacja oraz konsola dostępna już jest również w języku polskim, zatem zapraszam do komentowania 😉 Chciałbym także przypomnieć:

Cytat

Użytkownikom forum chcącym sprawdzić jak Veides działa w praktyce, chętnie dam dostęp do systemu na miesiąc (poproszę zgłosić się w wiadomości prywatnej), a jeśli projekt się spodoba, po miesiącu zastanowimy się co dalej  W zamian jedyne o co bym prosił to podzielenie się opinią o projekcie.

 

Edytowano Styczeń 22, 2021 przez kampo
Dodane małe przypomniątko

[BartKocur]

chętnie przetestowałbym ale nie mam aktualnie żadnego wolnego rasberry pi czy można przetestować na arduino

[kampo]

Dnia 13.02.2021 o 21:26, BartKocur napisał:

chętnie przetestowałbym ale nie mam aktualnie żadnego wolnego rasberry pi czy można przetestować na arduino

@BartKocur Jak najbardziej 🙂 Nie ma jeszcze SDK na Arudino, ale można użyć dowolnego klienta MQTT posiłkując się dokumentacją protokołu.

Jeśli napiszesz mi w prywatnej wiadomości lub w tym wątku więcej o Twoim przypadku użycia, z którym chciałbyś przetestować platformę (np. prosty termometr, robot, a może sterownik?) oraz jakie dokładnie Arduino posiadasz (w tym ewentualny moduł sieciowy), to znajdę najbardziej optymalne dla Ciebie rozwiązanie umożliwiające przetestowanie systemu.

W razie jakichkolwiek pytań i wątpliwości służę pomocą.

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[kampo]

Witajcie!

Minęło trochę czasu, ale dzisiaj wracam do Was ze świeżą porcją informacji o nowych funkcjonalnościach i innych usprawnieniach 🙂 

Na początek - co nowego w konsoli?

W narzędziu do tworzenia przepływów można znaleźć nowy kontroler o nazwie "planowanie". Kontroler ten pozwala skonfigurować zdarzenie (np. "przyjąłem") wysłane po zaplanowaniu akcji/intencji użytkownika (np. "obudź mnie jutro o 9 rano") oraz opóźnienia wykonania przepływu (akcji czy całej sekwencji) wraz z ograniczeniami stanu faktów.

Jak to można wykorzystać w praktyce? Wyobraźcie sobie lampkę, która powinna zostać automatycznie wyłączona 10 sekund po tym, jak odejdę od biurka, ALE tylko gdy przy tym biurku nadal mnie nie ma. Niech się też automatycznie odpala, gdy wieczorem usiądę do biurka, a co tam. Screeny oraz krótki film poniżej zobrazują to najlepiej 🙂

("daylight" w tym przypadku to czas pomiędzy końcem świtu a początkiem zmroku, "at_desk" - przy biurku lub nie i "lamp", czyli stan lampki - włączona lub nie)

 

 

(wybaczcie jakość - nagrywane telefonem, zatem momenty zapalenia i gaszenia lampki mogą nie być jednoznacznie widoczne, ale za to widać "błysk" na obrazie 🙂) 

Zadaniami aplikacji - agenta - w tym przypadku jest "tłumaczenie" danych z czujnika na "jestem przy biurku" lub "nie jestem przy biurku" (co w przyszłości również zostanie nieco uproszczone przez system) plus reakcja na akcje "włącz lampkę" i "wyłącz lampkę". Resztą zajmuje się Veides. Czujnik(i) docelowo oczywiście wylądują pod blatem.

Dalej, w module dashboard pojawił się nowy widżet - wykres, który można wykorzystać do zwizualizowania na osi czasu numerycznych wartości, np. temperatury pomieszczenia:

Moduł czatu stał się nieco bardziej informacyjny. W oknie rozmowy widać już m.in. czy połączenie do serwera jest poprawne, czy agent jest dostępny i możemy się z nim komunikować (kolejny temat na tapecie to połączenie tego statusu z rzeczywistą dostępnością agenta, tj. czy aplikacja użytkownika działa i jest podłączona do platformy). Widzimy status dostarczenia wiadomości oraz to czy agent właśnie myśli nad odpowiedzią. System dodatkowo informuje nas na bieżąco o problemach z konfiguracją agenta:

(agent języka polskiego jeszcze nie zna, próbował także wysłać nieistniejące zdarzenie "czes" - powinno być "czesc")

Z tych mniej widocznych dodatków, doszło również wsparcie dla protokołu HTTP (dokumentacja) - co można wykorzystać przy integracji "drobnych" urządzeń zawierających moduł WiFi (ESP8266, NodeMCU, Arduino itd.) w przypadku, gdy nie chcemy implementować na tymże urządzeniu klienta MQTT. Przykładowy kodzik korzystający z HTTP dla Arduino z ESP8266 (ESP-01) w załączeniu*.

Pokrótce wspomnę także o ostatniej nowości, tzw. bezpośrednich metodach. Funkcjonalność ta ma na celu udostępnić kanał bezpośredniej komunikacji użytkownika z agentem, ale bez potrzeby korzystania z języka naturalnego. Nie jest ona jednak jeszcze w pełni wdrożona i udokumentowana, jednakże jest to kolejny temat w toku, zatem metody dostępne będą niebawem... 🙂 Przykładem użycia metod może być żądanie aktualizacji firmware'u, co na pewno szerzej opiszę w temacie AgeBota, gdy już implementacja będzie gotowa.

Pozdrawiam

 

 

* Aby bezpiecznie "rozmawiać" z platformą, Arduino - tudzież ESP - wysyła do serwera proxy (Nginx) znajdującego sie w mojej wewnętrznej sieci dane zawierające jedynie ID agenta. Nginx to zapytanie szyfruje, dodając wcześniej klucze agenta w celu autoryzacji po stronie systemu i to Nginx rozmawia z Veides używając SSL/TLS. W celach bezpieczeństwa Veides nie wspiera nieszyfrowanych połączeń HTTP. Klucze agenta są także bezpiecznie przechowywane po stronie proxy, aby nie latały nieszyfrowane po wewnętrznej sieci.

ardu.ino.zip