Freestyle Robot "Nicolaus/Wizytówka"

[wn2001]

Cześć,

ponieważ jestem w klasie maturalnej i wkrótce wychodzę z Technikum, otrzymałem zadanie - zbudować robota (nazwa jeszcze niewybrana), który będzie stanowił uatrakcyjnienie drzwi otwartych, targów edukacyjnych i tym podobnych imprez. Założenia podstawowe:

1. Konstrukcja prototypowa, z możliwością szerokiego rozwoju, niekoniecznie ukończona i zamknięta w 100% (tak, aby w przyszłości inni mogli rozwijać projekt dalej) - ale już działająca
2. Funkcja informacyjna, odpowiadanie na podstawowe (oczywiście przy rozsądnym stopniu dokładności, bardziej demonstracyjnie) pytania typu: "Gdzie leży szkoła?"
3. Rozsądny budżet, projekt miał być stosunkowo "low-cost"
4. Nawiązanie do oferty szkoły tak, aby zaprezentowane zostało jakieś nawiązanie do automatyki, elektroniki czy informatyki (o co przy budowie robota nietrudno ) - w pozostałych kwestiach (sprzętowych, elektronicznych i programowych) pełna dowolność

Projekt miał być zespołowy, ale ze względu na pandemię zabrałem go do domu

Dobrze, to uwzględniając ramy z pierwszego akapitu, dodałem własne założenia:

1. Konstrukcja oparta na V-slot'ach - łatwo się z nich prototypuje, nie ma problemu, aby coś przenieść, dodać, usunąć - co jest też ważne, że budując np. dedykowany prostopadłościan z plexi nie jestem w stanie przewidzieć, co będą potrzebować osoby rozwijające projekt dalej  Skrzynka o wymiarach 240x240x500mm
2. Wygląd - jak widać poniżej, dość futurystyczny, możliwie zbliżony do wyobrażeń "nie-technicznych" - jednocześnie pamiętając o kryterium "low-cost" nie chciałem zbytnio konstrukcji upodabniać do wzorców naturalnych - po pierwsze było by to zbyt kosztowne, po drugie miałem na uwadze argument "doliny niesamowitości"
3. Rozpoznawanie mowy i odpowiadanie na pytania oparte o interfejs Google i syntetyzator e-speak - zatem jako mózg robota wybrałem RaspberryPi 4B
4. Ręce, chociaż to bardziej "kończyny górne" - również skręcone z V-slot, zakończone elektromagnesami (może wstawię tylko magnesy, jeszcze nie wiem), zawieszone wahliwie - z tyłu popychane są siłownikiem pneumatycznym (powietrze to nie problem), ciśnienie jest zredukowane do minimum tak, że bez problemu zatrzymam siłownik dłonią (w celach bezpieczeństwa)
5. Twarz - z tyłu zakończona półkulą fi200mm; z przodu znalazło się miejsce na serwa SG-90 jako "brwi"; kamery RPi wraz z pierścieniami LED jako "oczy" - podłączona będzie tylko jedna, może uda mi się napisać proste przetwarzanie obrazu na zasadzie "Jaki kolor kartki widzisz przed sobą?" (oczywiście nic nie stoi na przeszkodzie, aby w przyszłości jakiś entuzjasta wykonał stereowizję ), Sharp jako czujnik odległości "nos" i głośnik jako "usta" - chociaż jak widać na zdjęciu, na ten moment wykorzystuję gotowe "kolumny" (umieszczone na dole) - a głośnik w twarzy pełni funkcję wyłącznie estetyczną
6. Silnik krokowy z przekładnią w "szyi" tak, aby można było obracać nią kilkanaście stopni lewo/prawo
7. Drukarka termiczna, aby na zawołanie "Wydrukuj zaproszenie" drukować "paragon" z informacjami o szkole i kodem QR jej strony internetowej
8. Matryca LED u góry z informacją "Cześć, jestem Nicolaus"
9. Pamiętając o modułowości, między moduły o Raspberry Pi dodam Arduino (jedno do drukarki, drugie do matrycy LED, trzecie do WS2818B oraz czwarte do pozostałych urządzeń) - mogę to zrobić oszczędniej, ale pamiętam o pozostawieniu możliwości rozwoju

Poniżej kilka zdjęć (z różnych stadiów rozwoju projektu) - jak mówiłem, wygląd jest dość futurystyczny - proszę pamiętać, że środkowa "luka" zostanie zapełniona płytą z elektroniką, podobnie węże też podpięte są prototypowo):

A tu film jak działają dłonie:

oraz rozpoznawanie mowy z Google i synteza e-speak (na laptopie, ale udało mi się przenieść całość na RPi):

Robot powstaje dość szybko, jak na moje tempo wręcz błyskawicznie - chciałbym (przynajmniej elektronicznie-sprzętowo) dokończyć go w przeciągu dwóch tygodni

Pozdrawiam
wn2001

[Treker (Damian Szymański)]

@wn2001 bardzo fajny projekt i zapowiada się ciekawy worklog, czekamy na regularne aktualizacje

[ethanak]

9 godzin temu, wn2001 napisał:

synteza e-speak

espeak czy espeak-ng?

A poza tym chyba się obrażę - to ja po to opracowuję system syntezy mowy dla robotów żeby ktoś dziadka espeaka używał

[SOYER]

@wn2001 Brawo za świetny projekt, możesz coś więcej napisać o rozpoznawaniu mowy? Właśnie zabieram się za poprawę i udoskonalenie projektu mojego modułu kontroli pieca CO. Chciałem zabudować czujnik ruchu, gdzie po jego wykryciu, urządzenie przy pomocy DFPlayera opowadało by mi o aktualnych odczytach. Jednak chyba ciekawiej by było gdyby urządzonko odpowiadało na moje pytania. Zależy mi na prostocie, @ethanak,@wn2001  da się połączyć esp8266, DFPlayera i takie rozpoznawanie mowy? 

Edytowano Styczeń 3, 2021 przez SOYER

[ethanak]

1 minutę temu, SOYER napisał:

da się połączyć esp8266, DFPlayera i takie rozpoznawanie mowy

Dość karkołomne, szczególnie że esp8266 nie ma wejścia audio, a i z pojemnością pamięci u niego jakoś nietęgo. Na ESP32 w teorii da się, tylko trzeba podłączyć mikrofon przez I2S (np taki) i jakoś inteligentnie oprogramować DMA. Jeśli miałbym to robić to raczej na jakimś co najmniej RPi Zero W (ten mikrofon też będzie pasować, a w razie konieczności można użyć zwykłej karty dźwiękowej na USB). Rozwiązanie chyba najlepsze - bo różnicę w cenie RPI/ESP niweluje brak konieczności dfplayera i możliwość zastosowania normalnej syntezy mowy (niekoniecznie Mileny, możesz próbować z Googlem, ew. stosując Milenę jako fallback). Poza tym taki RPi może robić całą resztę roboty (np. sterować tym nieszczęsnym piecem), i na 100% zrobi to lepiej niż ESP.

 

[SOYER]

Piec ma swój sterownik, jego zostawmy. Mój moduł ma tylko czytać kilka czujników temperatury i wysyłać je na serwer blynka, mowa to extra bajer. Może jest coś prostego w zastosowaniu, to by miało być tylko kilka pytań o podstawowe dane(max 10 szt).

Nie mam doświadczenia z RPi... 

[wn2001]

@Treker Dziękuję, oczywiście w miarę możliwości będę udostępniał relacje z postępów

@ethanak Nie, "zwykły" espeak - korzystałem między innymi z tego artykułu: https://webinsider.pl/raspberry-pi-espeak-czyli-pi-do-nas-mowi/ Nie wiedziałem, że równolegle jest rozwijana gałąź espeak-ng, ale z opisu https://github.com/espeak-ng/espeak-ng/issues/141 wynika, że różnice są niewielkie. Znam "Milenę", obiecują ją przetestować, szczególnie, że espeak użyłem głównie po to, aby "na szybko" ocenić, czy przedstawione zadanie będzie realne w zakresie moich umiejętności  - a po "Kendrigernie" widzę Twój system, że działa znacznie lepiej

Ogólnie, ten programik wygląda mniej-więcej tak (początek):

#!/usr/bin/env python3

import speech_recognition as sr
import os
import time

r = sr.Recognizer()

while True:
    time.sleep(1)
    os.system('espeak -v pl "Naciśnij enter, abym Cię posłuchał"')
    x = input()
    os.system('espeak -v pl "Proszę mówić"')
   	 
    with sr.Microphone() as source:
   	 print("Słucham...")
   	 audio = r.listen(source)

    try:
   	 zdanie = r.recognize_google(audio, language='pl-PL')
   	 print("Powiedziałeś: " + zdanie)
   	 os.system('espeak -v pl "Powiedziałeś: ' + zdanie + '"')
   	 os.system('espeak -v pl "Odpowiadam"')
   	 
   	 if zdanie.find("rozszerzone")>-1:
   		 os.system('espeak -v pl "W technikum z wyjątkiem zawodu technik fotografii i multimediów przedmiotem rozszerzonym jest matematyka."')
   	 elif zdanie.find("godzin")>-1:
   		 os.system('espeak -v pl "Zdecydowana większość zajęć odbywa się od siódmej dwadzieścia do szesnastej trzydzieści. Zajęcia specjalistyczne mogą odbywać się w godzinach późniejszych. Pracujemy w systemie jednozmianowym."')

@SOYER Dziękuję za słowa uznania. Jak widzisz powyżej, rozpoznawanie mowy jest banalne i opiera się na gotowym interfejsie (niestety należy mieć stały dostęp do Internetu, ponadto - ale szczegółów nie znam - przy większych ilościach przetwarzanych komunikatów usługa jest już płatna). W pętli, gdy wcisnę enter, program "słucha" mikrofonu, a następnie wysyła próbkę do r.recognize_google - odpowiedzią jest string "zdanie", jeśli zawiera ona jakiś charakterystyczny wyraz (moja baza pytań jest niewielka), to ponownie wywołuję systemowo espeak z właściwą odpowiedzią. Dalej jest jeszcze obsługa wyjątku, jeśli moduł sobie nie poradzi, zgłaszany jest błąd

Co do pozostałej części pytania, to mój przedmówca omówił te kwestie - jeśli chcesz użyć DFPlayer, to Twoja baza odpowiedzi jest ograniczona - musisz nagrać osobny MP3 do każdej liczby, przy espeak (lub Milenie ) wysyłasz nań zmienną, która zawiera odczytaną liczbę. Podobnie z rozpoznawaniem mowy, możesz zrobić to z gotowym modułem, tak jak ja tutaj: 

 - ale moduł tego typu ma wiele ograniczeń, np. rozpozna tylko Twój głos i to z niewielkiej odległości. Dlatego raczej musisz iść w stronę interfejsu np. od Google, a tu już RPi będzie niezbędne - chociaż możesz to zrobić np. tak, że mowę przetwarza telefon (nawet AppInventor ma dedykowany moduł), a właściwe polecenie już jako konkretne polecenie przesyłasz do właściwego sterownika bluetooth'em. Możliwości jest kilka

28 minut temu, ethanak napisał:

Poza tym taki RPi może robić całą resztę roboty (np. sterować tym nieszczęsnym piecem), i na 100% zrobi to lepiej niż ESP.

Pozwolę sobie tylko dopytać, czy nie lepiej jeśli sam proces regulacji prowadzi jakiś niskopoziomowy uC, a mini-komputer stanowi warstwę wyższą? Jeśli RPi się zawiesi, to regulacja temperatury nadal będzie działać, nie będzie tylko komunikatów głosowych

[ethanak]

8 minut temu, SOYER napisał:

Nie mam doświadczenia z RPi... 

Rozumiem, że masz doświadczenie z ESP8266, podłączaniem mikrofonu i dodatkowego RAM-u i komunikacją z jakimś silnikiem rozpoznawania mowy?

[SOYER]

15 minut temu, ethanak napisał:

Rozumiem, że masz doświadczenie z ESP8266, podłączaniem mikrofonu i dodatkowego RAM-u i komunikacją z jakimś silnikiem rozpoznawania mowy?

słuszna uwaga @ethanak 

myślałem raczej nad czymś takim, tylko cena zabija... 

@wn2001 napisz proszę w  krótkich żołnierskich słowach jak by to wyglądało zrobić na RPi zero, żebym mógł wstępnie ocenić czy dam rade;) 

wprawdzie rpi3 mi sie kurzy w szufladzie ale po co taki kombajn... choć mógłbym wtedy własny serwer blynka postawić... 

Choć zero jest tanie i małe.... 

hmmm... 

 

[wn2001]

@SOYER Nie jestem pewien, czy ten shield, do którego wysłałeś link, nie jest bardziej rozbudowaną wersją tego modułu, który wykorzystałem przy budowie robota kroczącego z odnośnika  powyżej - jeśli tak, nadal bazujesz na sprzętowym porównywaniu próbek sygnału dźwiękowego do zdefiniowanych przez Ciebie wzorca - czyli jesteś ograniczony zarówno dokładnością detekcji, jak i ilością komunikatów, które możesz rozpoznać (i faktycznie kosztuje 100zł więcej, niż płytka RPi 3B+ ). Dlatego proponuję spróbować z interfejsem Google, krótko opiszę jakby to mogło wyglądać (zakładam, że sterowanie nadal opiera się na ESP8266 i skomunikowałeś je np. UART'em z RaspberryPi) - na początek polecam spróbować z 3B+, ewentualnie końcową wersję przenieść na tanie i lekkie RPi Zero:

1. Kupujesz kartę dźwiękową USB - podłączasz ją do RPi, wykrywana jest automatycznie
2. Podłączasz do karty mikrofon (chyba, że mikrofon był gotowy na USB), do wyjścia mini-jack głośniki
3. Czytasz o: https://realpython.com/python-speech-recognition/ - czyli jak w Pythonie można rozpoznawać mowę
4. Wykorzystujesz espeak lub Milenę: https://milena.polip.com/raspberry.shtml - do syntezy mowy
5. Instalujesz pozostałe niezbędne biblioteki, np. PyAudio, z tym może być nieco szukania o błędach, ale ja dałem radę
6. Tworzysz program w pythonie, który pobiera sygnał audio z mikrofonu, a następnie na bazie instrukcji warunkowych wywołuje syntetyzator (jak widzisz u góry, wszystko jest oparte na gotowych, wysokopoziomowych instrukcjach)
7. Jeśli punkt 7. działa, łączysz się z ESP8266, oczywiście wcześniej modyfikujesz jego program tak, że jeśli przez UART otrzyma polecenie, na przykład "temperatura", to w odpowiedzi odsyła ciąg tekstowy zawierający temperaturę
8. Mając przystosowany również program ESP8266, możesz dodać np. do poszczególnych odpowiedzi głosowych Mileny informacje otrzymywane z ESP8266, np. o temperaturze

Ja bym to tak widział, oczywiście to wersja, że na Twój ESP8266 "nadbudowana" zostanie warstwa RaspberryPi odpowiedzialna za "bajery", a nie że np. RPi stanie się głównym sterownikiem

[SOYER]

Temat bardzo ciekawy i "odrobinę" mnie wciągnął. Jednak widzę, że muszę wrócić do kursu RPi i poszukać czegoś o podstawach pythona... 

[wn2001]

Kolejna aktualizacja - w skrócie, RPi może już wysłać sygnały do płytek z Arduino Nano na pokładzie, a te z kolei mogą wysterować diody WS2812B lub drukarkę termiczną - efekty widoczne na filmie

 

 

[wn2001]

Dopracowałem efekty świetlne - płytka sterująca trzema zestawami 12xWS2812B ma trzy transoptory (trzy bity), może zatem wysterować paski LED-owe na osiem różnych sposobów:

1. Może nie robić nic
2. Diody w pełnej gamie kolorów (demo "Rainbow" od Pololu)
3. Diody tęczowo, ale każda ten sam kolor
4. Efekt "zegarka"
5. Silne białe światło celem doświetlenia kamer (jeśli te zostaną użyte)
6. Drukarka termiczna na zielono + oczy migające "od czasu do czasu"
7. Drukarka termiczna na czerwono + oczy wyświetlające losowe kolory
8. Efekt "komety" + losowe piksele na pasku przy drukarce

Oprócz tego non-stop pracuje matryca 8x32, informująca o projekcie + losowe piksele + imitacja pulsu. Przepraszam za słaba jakość filmu, niestety telefon mocno przekłamał kolory, "na żywo" nie są aż tak silne i "nie oślepiają"  Tym samym kolejne elementy są przygotowane do spięcia z RPi

Edytowano Styczeń 31, 2021 przez wn2001

[wn2001]

Kolejna aktualizacja - robot może machać "rękoma" i głową, ma brwi, elektromagnesy jako "dłonie" i jest wyzwalany czujnikiem Sharp

 

 

[wn2001]

Kolejna aktualizacja - robot może odpowiedzieć na pytanie "która godzina?" oraz "widoczny kolor" - to drugie polega na wykonaniu zdjęcia, obliczeniu jego składowych R,G,B oraz wybraniu największej z nich - może zatem rozpoznać kolor czerwony/niebieski/zielony  Oczywiście nic nie stoi na przeszkodzie, aby zainstalować OpenCV i robić jakieś ciekawsze rzeczy (z mojej strony to jedynie przykładowe demo)