Wroob - Czyli jak zaprogramować swój telefon!

[Pawel_S]

Hej!
Chciałem się z wami podzielić projektem, który od jakiegoś czasu rozwijam z grupą znajomych. Nazywa się on Wroob i jest to aplikacja pozwalająca zaprogramować swój telefon. Głównym celem projektu jest urozmaicenie procesu nauki programowania w Pythonie, głównie przez wprowadzenie elementów robotyki. Jest to też system, który umożliwia wykorzystanie możliwości współczesnego smartphona we własnych projektach. Jeżeli chcemy na przykład śledzić twarz manipulatorem, nie potrzebujemy do tego celu RPi z kamerą, możemy użyć własnego telefonu z aplikacją Wroob.

Ponieważ projekt jest już dość złożony. W tym tekście postaram się wyjaśnić na dość ogólnym poziomie czym jest system Wroob i co można z nim zrobić. Jeżeli będziecie zainteresowani to w kolejnych częściach omówię szczegółowo jak zostały zrealizowane poszczególne elementy systemu lub przygotuje poradniki jak stworzyć coś własnego używając aplikacji Wroob.

Czym jest system Wroob?
System Wroob składa się z trzech głównych elementów:

1. Aplikacja Wroob
Jest to serce całego systemu. To na niej uruchamiane są wszystkie programy napisane przez użytkownika. Aplikacja umożliwia dostęp do Panelu Użytkownika Wroob i modułów (funkcjonalności) systemu. Słowem – zamienia telefon lub tablet w mózg robota.

2. Moduły
System Wroob jest modularny, tzn. każda z funkcjonalności systemu jest dostarczana przez odpowiedni moduł. Na przykład telefon będzie odtwarzał dźwięki korzystając z modułu Audio Player Module, a dostęp do kamery czy rozpoznawanie twarzy realizowane będzie przez Video Processing Module.

3. Panel Użytkownika Wroob
Otwiera się go w przeglądarce internetowej na komputerze lub innym urządzeniu. Panel umożliwia włączanie i wyłączanie modułów, graficzne widżety ułatwią zapoznanie się z ich funkcjami, a edytor kodu pozwala pisać programy w Pythonie.
Panel Użytkownika Wroob to aplikacja webowa, której hostem jest telefon z aplikacją.

Telefon udostępnia Panel Użytkownika w sieci lokalnej, więc możemy wejść z dowolnego urządzenia znajdującego się w tej samej sieci - najwygodniej pracuje się przy użyciu komputera 🙂

Co można zrobić z aplikacją Wroob?

Każdą funkcjonalność dostarczaną przez moduły można wykorzystać w dowolny sposób we własnych programach. Aktualnie dostępne moduły pozwalają między innymi na odtwarzanie dźwięków, rozpoznawanie twarzy, robienie zdjęć, syntezę i rozpoznawanie mowy czy podłączenie kontrolera do gier. Przygotowaliśmy kilka przykładów w formie kursów na YouTube/Wroob (znajdziecie tam też film jak rozpocząć pracę z systemem Wroob).

Krótki filmik jak to działa:

 

Gotowy kod programu alarmu wykorzystanego w filmie wygląda następująco:

from wroob.modules.apm import Apm
from wroob.modules.vpm import Vpm
from time import sleep

apm = Apm('apm001')
vpm = Vpm('vpm001')

THRESHOLD = 60
SENSITIVITY = 200

def alarm_callback(msg):
    if apm.state["status"] == "stopped":
        apm.play_sound("breach_alarm.wav")

vpm.start_motion_detection_reporting(THRESHOLD, SENSITIVITY, alarm_callback)

while(True):
    sleep(1)

A tutaj prosty Chatbot:

from wroob.modules.srm import Srm
from wroob.modules.ssm import Ssm
import time

srm = Srm("srm001")
ssm = Ssm("ssm002")

slownik_zwrotow = {
    'cześć' : 'Witaj, jak masz na imię?',
    'tomek' : 'Miło cię poznać. Czym się zajmujesz?',
    'programuje' : 'Doskonale. Widzę, że dobrze Ci idzie',
    'na razie' : 'Miłego dnia!'
}

def odbior_mowy(data):
    print(data)
    if data in slownik_zwrotow:
        ssm.start_speech_synthesis(slownik_zwrotow[data])
    else:
        ssm.start_speech_synthesis("Nie rozumiem, czy możesz powtórzyć?")
   	 
srm.start_speech_reporting(odbior_mowy)

while True:
    time.sleep(1)

Hardware
Oczywiście najciekawsza zabawa rozpoczyna się w momencie, gdy połączymy aplikację Wroob ze sprzętem. Na przykład w relatywnie prosty sposób możemy zaprogramować zdalnie sterowanego robota z podglądem z kamery na żywo czy robota sterowanego mową. 

We Wroob mamy własne moduły sprzętowe które pozwoliły nam na zbudowanie robota mobilnego (Wrooby). Aplikacja wspiera też komercyjne roboty firmy Makeblock, mBot-S i mBot-Ranger. Pojawiają się one w systemie jako moduły.

Otwarty system
System Wroob z założenia jest systemem otwartym. Oznacza to, że można go łączyć z własnymi autorskimi projektami stworzonymi na przykład na Arduino czy napisanymi w dowolnym języku programowania na komputerze i traktować je jako moduły w systemie Wroob.
Posiadamy gotową bibliotekę na Arduino która pozwala na obsługę naszego wewnętrznego protokołu komunikacji. Znajdziecie ją na GitHub’ie https://github.com/wroob-io lub możecie pobrać bezpośrednio w Arduinio IDE.
Jak podłączyć płytkę Arduino do systemu Wroob i stworzyć własny moduł z przyjemnością opiszę w kolejnym artykule.

Jeżeli projekt Wam się podoba, z chęcią odpowiem na wszelkie pytania w komentarzach.  Oprócz łączenia Arduino z Wroob i pisania własnego modułu, mam też kilka propozycji na kolejne posty:

1. Własny moduł w Pythonie
2. Opis architektury systemu Wroob         
3. Opis funkcjonalności i implementacji wybranego modułu
4. Robot mobilny Wrooby
Dajcie znać co was najbardziej interesuje.

Zachęcam do testowania możliwości aplikacji Wroob na własną rękę - do końca czerwca jest całkowicie darmowa 🙂
Do pobrania w Google Play Wroob - Robotyka dla każdego! – Aplikacje w Google Play

[Treker (Damian Szymański)]

@Pawel_S, właśnie zaakceptowałem opis. Dziękuję za przedstawienie ciekawego projektu, zachęcam do prezentowania kolejnych DIY oraz aktywności na naszym forum 😉

[jas123]

Pytanie : jak pisać w konsoli?

Edytowano Maj 21, 2020 przez jas123

[Pawel_S]

17 minut temu, jas123 napisał:

Pytanie : jak pisać w konsoli?

Za pomocą funkcji print na przykład:

print("Witaj świecie!")

Pisząc programy w systemie Wroob, masz do dyspozycji wszystkie możliwości języka python :) 

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[jas123]

Chyba trochę źle zadałem pytanie.

Chodziło mi bardziej jak odpowiedzieć programowi na taką linijkę kodu:

x = int(input())

program czeka a ja nie wiem jak coś wpisać w konsolę🙃.

[transfer1992]

45 minut temu, jas123 napisał:

Chyba trochę źle zadałem pytanie.

Chodziło mi bardziej jak odpowiedzieć programowi na taką linijkę kodu:

x = int(input())

program czeka a ja nie wiem jak coś wpisać w konsolę🙃.

Hej, tu Maciek, jestem współtwórcą Wroob.

Jesteśmy w trakcie dodawania tej funkcjonalności, powinna pojawić się w najbliższym czasie. Obecnie, jeżeli posiadasz pada, którego możesz podłączyć pod komputer, możesz użyć modułu RCM, aby mapować przyciski kontrolera na konkretne akcje.

EDIT:
Oprócz modułu RCM możesz też użyć modułu rozpoznawania mowy (SRM) i decydować o przepływie programu głosowo 🙂

Edytowano Maj 21, 2020 przez transfer1992
Poprawa składni

[macizet]

Super pomysł!!! Czekam na sprzedaż 😉 życzę żeby zrobiło taką karierę jak Arduino 😀

[Spartan]

Trzymam kciuki, sam projekt wydaje się innowacyjny.

[transfer1992]

Cześć!
@jas123  i inni zainteresowani - z przyjemnością chciałem ogłosić, że pojawiła się nowa wersja aplikacji, która wspiera m.in. funkcję input(), a także posiada inne usprawnienia, takie jak uproszczone przechodzenie do Panelu Użytkownika Wroob oraz liczne poprawki.

Miłego programowania!
Maciek z Wroob