Nowy system automatyki domowej + polski asystent

[Inari]

Cześć 🙂

Od pewnego czasu projektuje system do zarządzania smart domem i urządzeniami IoT oraz asystenta głosowego. Założenia mojego projektu to

• asystent ma być po polsku 🙂
• cała instalacja i konfiguracja ma być banalnie prosta - wszystko możliwe do edycji w intuicyjnym gui poprzez stronę internetową

Co już działa?

• Można dodawać własne intencje po jakich asystent interpretuje naszą wypowiedź i wybrać działanie jakie ma wykonać (obecnie podajemy link na api jakie ma rzucić requesta, czyli na przykład może wyłączyć jakiś przekaźnik, zapalić led na dany kolor itp)
• Można dodawać własne czujniki, które będą widoczne w gui z możliwością edycji tekstu, ikon i koloru.

Parę screenów z wyjaśnieniami:

powyżej Widoczne czujniki. Dane odbierają bardzo prosto: czujnik(ten, że tak powiem bardziej fizyczny) musi wysłać na api requesta w stylu ip/sensors/nazwaCzujnika/wartość (nazwa oczywiście wybrana i edytowalna przez nas), zatem przez espEasy da się do ogarnąć 😄 Poza tym wartości w danych 'kafelkach' odświeżają się same z siebie (bez przeładowania całej strony oczywiście), także zawsze dane są aktualne. Te nieprzyjemne dla oka nazwy typu textTopRight są po to by było widać które pole z formularza któremu polu odpowiada. Tekst na środku największą czcionką to tytuł. Dodatkowo można prawie w każdym z tych miejsc dodać ikonę (poprzez formularz w jednym ze sceenów niżej) dowolną z https://fontawesome.com/icons?d=gallery podając po prostu jej class, czyli w przypadku https://fontawesome.com/icons/comment?style=solid  będzie tam trzeba umieścić: fas fa-comment.

powyżej podgląd  konfiguracji. Jak widać można ustawić jakie urządzenia mają znaleźć się w zdaniu, jakie intencje, czy ma wychwytywać kolory..

W Pierwszym przykładzie (id1) (teraz tylko zauważyłem - tutaj do poprawnego działania pole Colors powinno być true 😉 )wyrażenie by zmienić led na kolor czerwony mogłoby brzmieć: "Zapal led na kolor czerwony" lub "uruchom led na niebiesko". By wyłączyć led należałoby powiedzieć "wyłącz led'

 

Tu widać formularz dodawania Czujnika.

Asystent głosowy wyłapuje keyword za pomocą Snowboya, mowę zamienia na tekst i zbiera z niego intencje dzięki wit.ai, a interpreter konkretnych intencji to już system napisany przeze mnie w javie.

Chciałbym w przyszłości dodać możliwość tworzenia własnych motywów graficznych gui. Obecnie do dodania obsługa asystenta głosowego bezpośrednio na stronie (obecnie działa on jako osobna aplikacja python3) i sporo innych rzeczy. Na przykład wykresy z grafany. Pytanie ode mnie co sądzicie? Czy ktoś ewentualnie chciałby potestować gdy wydam w miarę stabilną i bardziej funkcjonalną wersję? 🙂 Docelowo chciałbym by wszystko uruchamiało się z dockera.

[Treker (Damian Szymański)]

@Inari, zapowiada się ciekawie 🙂 Jak system radzi sobie z polskimi komendami głosowymi, jest to w miarę skuteczne? Masz jakieś demo?

 

[Inari]

7 minut temu, Treker napisał:

@Inari, zapowiada się ciekawie 🙂 Jak system radzi sobie z polskimi komendami głosowymi, jest to w miarę skuteczne? Masz jakieś demo?

 

dziękuję za komentarz 🙂 Demo komend głosowych chcę zrobić jak zaimplementuje asystenta bezpośrednio na stronie. Skuteczność oceniam na bardzo dobrą, szybkość interpretacji mogła by być odrobinę szybsza ale też nie jest źle.

[haryb]

Czy planujesz dodać sterowanie ogrzewaniem w domu przez asystenta? Np na systemie danfos lub eq-3? P. S.Do końca roku będzie możliwa komunikacja z asystentem po polsku w wersji natywnej bez kombinacji. 

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[Inari]

1 godzinę temu, haryb napisał:

Czy planujesz dodać sterowanie ogrzewaniem w domu przez asystenta? Np na systemie danfos lub eq-3? P. S.Do końca roku będzie możliwa komunikacja z asystentem po polsku w wersji natywnej bez kombinacji. 

zobaczymy co się uda dodać. Nie bawiłem się jeszcze w sterowanie ogrzewaniem jakkolwiek więc nie wiem jak to wygląda, ale jeśli by chodziło o prosty warunek "jeśli stopni jest poniżej x to włącz ogrzewanie" to będzie takie coś można ustawić z poziomu interfejsu 🙂
Mówisz o asystencie google'a? Słyszałem, że ma wyjść w końcu w pełni funkcjonalny po polsku. Swojego i tak będę pisał, robię to, jak napisałem, hobbystycznie 🙂 

[haryb]

Z tym ogrzewaniem to nawet myślę o takich komendach w stylu zwiększ temp w salonie o 2 stopnie, albo jaka temperatura jest w sypialni, albo wyłącz wszystkie grzejniki 

[Inari]

13 minut temu, haryb napisał:

Z tym ogrzewaniem to nawet myślę o takich komendach w stylu zwiększ temp w salonie o 2 stopnie, albo jaka temperatura jest w sypialni, albo wyłącz wszystkie grzejniki 

planuję taką funkcjonalność 🙂