Kedrigern - czyli głos dla robota

[ethanak]

Już słyszę głosy: O, staremu ethanakowi coś się chyba pokręciło... Post jest o jakimś Kedrigernie w dziale DIY - a na zdjęciu mamy coś przypominającego robota z dumnym napisem "Ciapek"...

Spieszę z wyjaśnieniami.

To nie pomyłka. Post jest na temat serwera mowy Kedrigern, a Ciapek to żaden robot. Po prostu dość trudno zrobić zdjęcie programu, poza tym wypadałoby raczej pokazać ów program w działaniu - a ten wymaga jednak czegoś co będzie gadać (czyli jakiejś bardziej fikuśnej obudowy na głośnik). A ponieważ ostatnio zapatrzyłem się w rysunki Daniela Mroza... cóż, Ciapek z ludzkimi dłońmi, stopami i uszkami wyszedł tak jak wyszedł 🙂

Zacznę możę od opisu elektroniki (jako że jest to najprostsze, a użytkownik może sobie ją skomponować z zupełnie innych elementów).

Sercem całego układu jest Raspberry Pi. Można zastosować dowolny model (chociaż ze starymi, krótkimi GPIO mogą być lekkie problemy), ja użyłem w swoim egzemplarzu Raspberry Pi Zero W. Oprócz tego potzebny jest jakikolwiek układ odtwarzania dźwięku. "Duże" (pełnpowymiarowe) malinki jak popularny 3B+ mają już wyprowadzone wyjście audio, potrzebny jest tylko jakiś niewielki wzmacniacz. Dla wersji Zero potrzebny jest jednak układ zewnętrzny. Prawdopodobnie doskonale spisałby się opisywany ostatnio moduł z wyjściem audio do Raspberry Pi Zero, ja zastosowałem jednak moduł i2s. Jest on dość wygodny w użyciu jako że zawiera w sobie wzmacniacz mono o całkiem sporej (do 3 W) mocy, poza tym początkujący elektronicy nie muszą się martwić o jakieś dziwne masy audio, filtrowane zasilania i tym podobne dziwactwa interesujące tylko "analogowców" - moduł podłącza się pięcioma przewodami do malinki, z drugiej strony dwoma do głośnika i już gra 🙂

Ponieważ nasz "robocik" musi potrafić poruszać ustami, zastosowałem najprostsze (i najprawdopodobniej najtańsze) rozwiązanie - czyli matrycę LED 8x8 ze sterownikiem, na której rysowane będą kształty ust.

Od razu uprzedzę pytanie: owszem, próbowałem zrobić bardziej skomplikowany mechanizm używający serw. Niestety - oprócz trudności mechanicznych (te są do przezwyciężenia) natrafiłem na rzecz, której nie da się przeskoczyć: prędkość serwa. Typowe serwo potrzebuje 0.1 sekundy na przekręcenie orczyka o 60° - a nawet zakładając, że owe 60° wystarczy (w co osobiście wątpię), jest to co najmniej dwa razy za wolno (przy czym owe "dwa" mogłoby się w rzeczywistych układach rozrosnąć do trzech czy czterech). Będę jeszcze próbować rozwiązania z solenoidami - jeśli mi się uda to opublikuję wyniki. Ale może w międzyczasie ktoś inny napisze moduł "solenoid"?

Zresztą - chciałem, aby każdy mógł sobie w domu wypróbować Kedrigerna ponosząc jak najmniejsze koszty, a opisywany układ można (mając RPi z wyjściem audio) zmontować kosztem klikunastu złotych (matryca) bez żadnych płytek - po prostu łącząc matrycę przewodami z GPIO malinki.

Jako głośnika użyłem leżącego gdzieś w szufladzie zakurzonego głośniczka od starego telefonu z sekretarką, pasować jednak będzie dowolny pod warunkiem dopasowania mocy głośnika do posiadanego wzmacniacza.

I to cała wielce skomplikowana elektronika. Jak widać na zdjęciu - nie ma tam nic skomplikowanego.

Przejdę więc do opisu programu.

Kilka lat temu udało mi się zmusić Mbrolę do w miarę prawidłowego gadania po polsku (do tego stopnia, że można ją było wykorzystać np. do tworzenia audiobooków). System TTS Milena (tak się nazywa ten "zmuszacz" do Mbroli - czyli bardziej fachowo NLP) bardzo dobrze sprawdził się na pecetowym Linuksie, wersja na Windows była raczej ciekawostką ale również działała - postanowiłem więc przystosować ją do malinki. Po przezwyciężeniu pewnych trudności z kompilacją (np. "char" dla architerktury Intel to w GCC domyślnie signed, w ARM z jakichś przyczyn unsigned) okazało się, że co prawda Milena działa, ale "rozruch" ma straszliwie powolny. Nic dziwnego - pliki tekstowe słowników wymowy i translacji fonetycznej muszą być kompilowane przy załadowaniu programu, a malinka ze swoją wolniutką kartą pamięci i nieszczególnie silnym procesorkiem potrzebuje zbyt dużo czasu, zanim wydobędzie z siebie jakieś zdanie. Postanowiłem więc zrobić inaczej: serwer wczytuje wszystkie pliki raz przy starcie systemu, a prosty program klienta przekazuje mu tylko treść komunikatów. Takie rozwiązanie ma również inne zalety: uruchomiony na sockecie TCP serwer może być na zupełnie innej fizycznej maszynie niż klient. I w ten sposób powstał program Kedrigern (nazwany na cześć pewnego czarodzieja, który postanowił odczarować księżniczkę z zaklęcia odbierającego głos).

Jak mi to wyszło - oceńcie sami. Oto filmik ukazujący Kedrigerna w działaniu:

Nie będę tu rozpisywał się o wszystkich zasadach działania i możliwościach Kedrigerna i Mileny (to w końcu ma byc post na forum a nie książka z dokumentacją), zacznę więc od instalacji Kedrigerna na malince. Wszystkie konieczne komponenty (z wyjątkiem głosu pl1) są w załączonym pliku tgz. Rozpakujmy go w dowolnym katalogu (np. w głównym katalogu użytkownika malinki) i instalujemy mbrolę wraz z polskim głosem:

sudo dpkg -i mbrola3.0.1h_armhf.deb
sudo apt install mbrola-pl1

Teraz możemy zainstalować Milenę. I tu uwaga: jeśli ktoś miał starszą wersję Mileny niż 0.2.92 musi ją przeinstalować na tę właśnie wersję - inaczej nie będzie działać moduł ruchu ust Kedrigerna!

sudo dpkg -i milena*.deb

Po zainstalowaniu wszystkiego powinno działać już polecenie milena_say, czyli musimy wypróbować:

milena_say dzień dobry kolego

I znów uwaga: jeśli wyjściem audio jest HDMI, polecenie może nie działać prawidłowo! Należy spróbować dodać parametr -d opóżniający generację mowy do czasu "załapania" HDMI, czyli najprościej:

milena_say -d 2000 dzień dobry kolego

Niestety, przy użyciu wyjścia HDMI mogą pojawić się problemy z późniejszym działaniem Kedrigerna, ale po pierwsze nie jest to miejsce na omawianie problemów z audio, po drugie wcale nie czuję się mistrzem w tym zakresie i prawdopodobnie ktoś tu wie lepiej ode mnie jak tym problemom zaradzić.

W każdym razie mając uruchomiona Milenę i Mbrolę możemy przystąpić do instalacji Kedrigerna.

Zaczynamy od instalacji serwera, czyli

sudo dpkg -i kedrigern_0.2.0-1_armhf.deb

Jeśli mamy podłąćzoną matrycę LED (8x8, MAX7219) możemy użyć jej jako wyświetlacz ust:

sudo dpkg -i kedrigern-matrix_0.2.0-1_armhf.deb

No i oczywiście coś co pozwoli nam korzystać z serwera, czyli:

sudo dpkg -i libkedrigern_0.1.2-1_armhf.deb

Teraz możemy sprawdzić, co potrafi nasz serwer:

kedrigern -h

lub (jeśli mamy zainstalowany moduł matrix)

kedrigern -M matrix -h

W odpowiedzi dostaniemy wykaz opcji, z którymi możemy uruchomić serwer. Aby je przetestować, należy otworzyć drugi terminal; w pierwszym uruchamiamy serwer poleceniem "kedrigern" z różnymi opcjami, w drugim testujemy poleceniem kdr-say.

Po ustaleniu opcji należy zedytować plik /etc/default/kedrigern i w nim ustawić domyślne parametry. Po przetestowaniu poleceniem

kedrigern -C /etc/default/kedrigern

możemy już uruchomić nasz serwer w tle:

sudo systemctl start kedrigern

Jeśli chcemy, aby serwer startował od razu przy starcie systemu, należy wydać polecenie:

sudo systemctl enable kedrigern

Do komunikacji z serwerem służą polecenia kdr-say, kdr-stop i kdr-speaking.

Moduł matrix pozwala na wyświetlanie ust zsynchronizowane z głosem syntezatora. Oto przykładowe obrazy ust dla różnych fonemów:

Fonem A

Fonem I

Fonem O

Fonem U

Fonemy M, P i B

Wybrałem do pokazania kilka najbardziej charakterystycznych kształtów. Jeśli komuś nie odpowiadają stworzone przeze mnie kształty może w prosty sposób dorobić własne lub poprawić moje na bazie pliku /usr/share/kedrigern/demo.shape i podłączyć go do Kedrigerna, np. za pomocą opcji "-m matrix:shape" lub wprowadzając odpowiednie zmiany w pliku konfiguracyjnym.

Protokół komunikacyjny jest bardzo prosty. Nie wnikając w szczegóły - załączony moduł w Pythonie (działa w wersji 2 i 3 Pythona) pozwala na sterowanie serwerem, a jednocześnie stanowi przykład sposobu komunikacji.

I to wszystko...

A nie, nie wszystko. Bo zaraz ktoś powie że to tylko zabawka, że komu potrzebne gadające roboty...

Przede wszystkim: Kedrigern może generować komunikaty diagnostyczne w czasie testowania/programowania robota. Jakie to ma znacze nie nie muszę chyba mówić nikomu, kto choć raz ustawiał np. regulatory silników czy zakres ruchu serw w warunkach polowych.

Poza robotyką może być bardzo dobrym rozwiązaniem do urządzeń typu headless - ja np. stosuję podobne (poprzednika Kedrigerna) rozwiązanie do obsługi sterownika pieca CO (podanie np. godzin nieobecności w mieszkaniu) czy jako wygodnego interfejsu do wpisywania wyników pomiaru ciśnienia krwi i poziomu cukru z małej przenośnej klawiaturki. A to już nie są zabawki 😉

A w ogóle przypominam, że Roomba też gada (tyle że Ciapek ładniej) 🙂

Zdaję sobie sprawę z tego, że opis jest bardzo pobieżny. Z chęcią odpowiem na wszystkie pytania - o ile kogoś to będzie interesować... W każdym razie wypróbowanie Kedrigerna nawet bez modułu ust posiadacza RPi z wyjściem audio nic nie kosztuje, a może się przyda?

Kody źródłowe Mileny i Kedrigerna są dostępne na stronie http://milena.polip.com

A, i ostatnie wyjaśnienie: Ciapek to mały troll, wychowanek czarodzieja Kedrigerna w książce Johna Morressy'ego "Głos dla księżniczki". Nawet trochę podobny 🙂

Przy okazji: @Treker, czemu pliki zip są cacy a tgz są be?

kedrigern.zip

pykedrigern.zip

[Treker (Damian Szymański)]

Właśnie zaakceptowałem Twój opis, możesz go teraz zgłosić do akcji rabatowej umieszczając link w temacie zbiorczym. Dziękuję za przedstawienie ciekawego projektu, zachęcam do prezentowania kolejnych DIY oraz aktywności na naszym forum 🙂

23 godziny temu, ethanak napisał:

Przy okazji: @Treker, czemu pliki zip są cacy a tgz są be?

Głównie dlatego, że archiwa zip są popularniejsze wśród użytkowników Windowsa i większość osób ma łatwiejszy dostęp do tak spakowanych plików. Wiem, że dla Linuksowców to nie problem, ale czytelników z takim systemem mamy obecnie ~3%, więc na liście pojawiły się formaty używane przez "przeciętnego" Kowalskiego 😉

[FlyingDutch]

Cześć ethanak,

super fajny projekt - gratulacje 😀

Pozdrawiam

[ethanak]

Dzięki za słowa uznania 🙂

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[ethanak]

Jako że nie mogę edytować pierwszego posta, wrzucam tu.

Nowe wersje (poprawione) serwerka kerdigern:

kedrigern.tgzpykedrigern.zip

[SOYER]

Witaj mistrzu @ethanak:). Umknął mi wcześniej ten Twój projekt. Naprawdę robi wrażenie. Szczere gratulacje. Swoją drogą dziwi mnie, że takie osiągnięcia, programy, nie są wykorzystywane szerzej. Nie myślałeś zrobić na tym biznesu? 

Czy możesz napisać coś więcej o 

Dnia 31.03.2019 o 11:51, ethanak napisał:

ja np. stosuję podobne (poprzednika Kedrigerna) rozwiązanie do obsługi sterownika pieca CO (podanie np. godzin nieobecności w mieszkaniu)

 

[ethanak]

10 godzin temu, SOYER napisał:

Czy możesz napisać coś więcej o 

A co tu pisać...

Do malinki podłączone są na stałe stare głośniki Samsunga (tania karta dźwiękowa na USB). Malinka oprócz pieca ma za zadanie umilać mi czas radiem Złote Przeboje (MPD), zapisywać w bazie danych (na innej maszynie) wyniki pomiarów cukru/ciśnienia i parę mniej istotnych rzeczy. Z różnych (raczej historycznych) przyczyn malinka wyposażona jest w interfejs graficzny (LXDE). Do malinki podłączona jest również mała klawiatura bezprzewodowa leżąca grzecznie na stoliku.

W samym LXDE pod klawisze multimediów podpięte jest wywołanie różnych programów. I tak pod klawisz lupy (wyglądający jak lizak) podpiąłem zapis pomiarów cukru/ciśnienia, a pod klawisz koperty (przypominający graficznie domek) podpiąłem program sterujący piecem (dwuobiegowy piec gazowy).

Główny program sterujący ma zaprogramowane typowe godziny obecności/nieobecności domowników na każdy dzień tygodnia, jednak ma możliwość szybkiego przeprogramowania bieżącego dnia. Do dyspozycji są: całodzienna obecność, nieobecność w konkretnych godzinach, dzień świąteczny, dzień powszedni (te dwa ostatnie dlatego, że co prawda wszystkie święta powinny być wprowadzone, jednak zawsze nasz kochany rząd może wprowadzić dodatkowe święto typu Urodziny Prezesa, a ze względu na charakter naszej pracy niedziela nie zawsze jest dniem wolnym) oraz wyjazd na dłużej (temperatura utrzymywana na poziomie 12-13 stopni).

Program po uruchomieniu przejmuje klawiaturę i poprzez serwer mowy informuje mnie, co właściwie uruchomił. Jednocześnie przejmuje kontrolę tej klawiatury i czyta wciśnięcie klawiszy bezpośrednio poprzez bibliotekę evdev. Mogę wybrać szybkie zaprogramowanie całodziennej obecności (w moim przypadku po prostu wciśnięcie entera) lub podanie godzin wyjścia i powrotu (z dokładnością do 10 minut - taka jest rozdzielczość czasowa programów). Każde wciśnięcie klawisza sygnalizowane jest odpowiednim tekstem - i tak jeśli wychodzę o 12:30:

Informacja z syntezatora: "podaj godzinę wyjścia"

1 - tekst "jeden"

2 - tekst "dwunasta"

3 - tekst "dwunasta trzydzieści, potwierdź enterem"

enter - "wyjście dwunasta trzydzieści, podaj godzinę powrotu"

I tak dalej...

Działa oczywiście klawisz backspace powodujący skasowanie ostatnio wprowadzonej cyfry oraz esc powodujący wyjście z programu. Uproszczony interfejs nie pozwala co prawda ustawiś godzin z zakresu 0:00 do 2:50, ale nie zdarzyło mi się jeszcze aby to było konieczne.

Podobnie działa program do wprowadzania wyników pomiaru - stwierdziłem że wstukanie paru cyferek na klawiaturze będzie szybsze niz zabawa z podłączaniem glukometru do komputera, a ciśnieniomierz w ogóle nie ma interfejsu. Dodatkowo w przypadku pomiarów mogę sprawdzić wyniki z ostatnich trzech dni oraz wydrukować tabelkę z wynikami.

Przy radiu syntezator informuje mnie przy włączeniu lub zmianie stacji, jaka stacja jest aktualnie włączona.

Poziom dźwięku syntezatora ustawiany jest automatycznie, radio (jeśli gra) jest wyciszane na czas odtwarzania mowy.

Prosta rzecz... ale niesamowicie przydatna! 🙂

 

[SOYER]

BRAWO, naprawdę fajna sprawa. Całkiem w moim stylu wykorzystania elektroniki na służbę;). Dużo tego i bardzo rozwojowo, wprawdzie na razie nie mam czasu na "duże" projekty, ale mam nad czym myśleć. Dzięki 🙂

[ethanak]

40 minut temu, SOYER napisał:

Dużo tego i bardzo rozwojowo

Wcale nie tak dużo - większość to soft, z elektroniki tam jest naprawdę niewiele. A soft powstawał etapami - najpierw był tylko sterownik do pieca z prostym interfejsem www, potem dopiero (gdzieś tak w ciągu ponad roku) powstała cała reszta.

42 minuty temu, SOYER napisał:

na razie nie mam czasu na "duże" projekty

No - czytając Twój wątek który swego czasu traktował o Blynku, LCD i lamusie nie nazwałbym tego "małym projektem" 🙂

 

[SOYER]

Nie wiem czy tam zaglądałeś ostatnio, ale też "ulepszam" swój piec, na węgiel;) 

Jednak piec gadający do mnie, po moim pojawieniu się w kotłowni, to byłoby coś;) 

[ethanak]

A owszem, zaglądałem, interesuje mnie co jeszcze wymyślisz (może coś zmałpuję).

A jaki widzisz problem w zrobieniu gadającego pieca? dopisujesz jeden prosty programik w pythonie (przekazanie linijki z seriala na port kedrigerna), sprzętowo zmieścisz się w 50 PLN. Tyle że ja bym na Twoim miejscu wykorzystał kedrigerna do oznajmiania ważnych informacji (np. "sąsiad znów pali opony, nie wychodź z domu")... pokombinuj 🙂

[SOYER]

Nie opony, tylko wykładziny samochodowe i folie;). 

"Witam szanownego właściciela, aktualna temperatura na kotle to 65 stopni, zawór czterodrożny na grzejniki zamknięty, temperatura CWU to 50 stopni. Proszę nasyp mi pokarmu, mój zasobnik jest prawie pusty. Dziękuję" 

[ethanak]

to wymaga informacji dla Mileny że CWU to skrót... resztę powinieneś sobie oprogramować.

Co do folii... nieważne co on tam pali, ważne że masz się dowiedzieć czy wychodząc z domu masz wziąć kapelusz od słońca, parasol czy maskę przeciwgazową 🙂

[czarny8322]

MEEEGA!!! a ja tutaj kombinowałem z asystentem google dla języka polskiego itp... a tutaj coś tak fajnego 🙂

[ethanak]

A widzisz - czasem warto poszukać czegoś więcej 🙂

W razie problemów pisz - zarówno Kedrigern jak i Milena to programy, nad którymi cały czas czuwam.