Zdalny odczyt z analogowego licznika prądu na podstawie analizy obrazu

[codo]

Mam w domu licznik prądu starego typu. Kiedy rachunki za prąd wzrosły powyżej 150 zł / mieś stwierdziłem, że czas na poszukiwanie przyczyn tego stanu rzeczy. Zacząłem od chińskiego watomierza, który doprowadził mnie do amplitunera Technics który w trybie standby zżera 30W. Byłem jednak ciekaw ile pobiera cały system monitoringu, lampy ogrodowe, NAS i kocioł itp. w rozkładzie godzinowym. Rozważałem zmianę taryfy z G11 na G12 lub G12W. Potrzebowałem danych. Ręczne spisywanie stanów licznika jest nużące i nudne.

Przyszedł czas na emeocv - Electric meter with OpenCV. To darmowa biblioteka udostępniona na github. Pozwala na odczyt licznik na podstawie analizy zdjęć i zapis do RRD (Round Robin Database). Program napisany jest w C++ i korzysta ze znanej biblioteki OpenCV. Uruchomienie odczytów zajęło mi sporo czasu i nie dawało satysfakcjonujących wyników z uwagi na potrzebę dostosowania wielu zmiennych i rekalibracji po nawet delikatnej zmianie położenia kamerki. Przyszedł czas na instalację IDE pod C++ i wydanie własnej wersji programu.

Krótka lista ficzerów:

• analiza zdjęć licznika dostarczanych z kamerki 
• trening algorytmu poprzez ręczną klasyfikację przykładowego materiału
• zapis danych do CSV
• wewnętrzna kontrola jakości danych
• możliwość zapisu zdjęć do plików i późniejszą analizę
• statystyki

Przejdźmy do rzeczy. Potrzebujesz:

• Raspberry PI (Zero, Zero W, testowałem też na RPI4b) z kartą pamięci. Alternatywnie: wystarczy dowolny komputer z pochodną Debiana (np. Ubuntu albo Linux Mint) oraz telefon komórkowy z Androidem.
• Kamerki (ja korzystałem z  ArduCam OV5647 5Mpx)
• Uchwytu do kamerki - ja skorzystałem z połamanego uchwytu do telefonu (można kupić na allegro za 5-10 zł)
• Źródła światła (np.Lampka LED za mniej niż 5 zł) - musiałem dodać do niej rezystor bo świeciła zbyt mocno
• ja potrzebowałem hub'a USB żeby zasilić lampkę i malinkę z jednego zasilacza (koszt ok 10zł)
• Kolorowych karteczek samoprzylepnych 
• Aplikacji Emeocv2 (moja własna wersja aplikacji wspomnianej powyżej)
• Dobrego nastroju i trochę czasu

Wersja dla Raspberry PI

Przygotowanie sprzętu: zamocuj kamerkę na statyw lub uchwyt, podłącz do malinki, ustaw światło tak aby niezależnie od światła dziennego licznik był równomiernie oświetlony. Ważne żeby nie świecić na wprost na szybkę licznika, bo pojawią się silne refleksy które utrudnią odczyt. Potem przyklej do licznika dwa kolorowe (najlepiej niebieskie) markery z karteczek samoprzylepnych (jeśli będą odpadać - użyj taśmy dwustronnej). Dzięki nim pogram bedzie w stanie ustalić obszar na którym znajdują się cyfry do analizy.

Na zdjęciu poniżej widać przykładowy setup. Nie jest to za piękne ale to nie dzieło sztuki

Instalacja:

1. Zainstaluj czystego Raspbiana na swoje malince

2. Podłącz kamerkę do Raspberry PI i włącz poprzez komendę raspi-config

3. Połącz się z RPI przez SSH (lub VNC) i pobierz Emeocv2 z https://github.com/wof2/emeocv2

4. Wejdź do katalogu głównego Emeocv2 i uruchom:

./debian_ubuntu_dependencies.sh

Skrypt pobierze potrzebne zależności (przede wszystkim OpenCV)

5. Zbuduj

make RELEASE=true

6. Wejdź do katalogu Release

chmod +x emeocv

7. Zrób trochę zdjęć z kamerki aplikacją raspistill i zapisz pliki .png do wybranego katalogu. Hint: jeśli twój licznik znajduje się w pomieszczeniu gdzie zmieniają się warunki oświetlenia to jak będziesz wygładzał parametry najlepiej  skorzystaj z trybu timelapse żeby zebrać zdjęcia z całej doby (np. co 15 min.). Najlepiej rób zdjęcia w rozdzielności nie większej niż 800x600.

8. Uruchom aplikację w trybie 'adjust' (najlepiej przeczytaj help do komendy - opal ją bez parametrów: ./emeocv) wskazując katalog w którym zapisałeś wcześniej zdjęcia. Pewnie analiza zakończy się błędem - musisz dostosować kilka parametrów - w katalogu Release edytuj plik config.yml. Najważniejsze parametry to:

rotationDegrees: 0 #obraca obraz przed analizą
cannyThreshold1: 120 # dolna granica dla algorytmu znajdowania konturów dostosuj metodą prób i błędów. Możesz zapisywać plik yml w trakcie analizy w trybie 'adjust' - co zdjęcie konfiguracja wczytywana jest ponownie.  
cannyThreshold2: 260 # górna granica znajdowania konturów.
digitYAlignment: 20 # maksymalne różnie z położeniu kolejnych cyfr w osi Y mierzone w pikselach. 

counterMarkerHLOW: 85 # kolor markera (karteczki) w skali HSL (poczytaj w necie). Domyślne wartości ustawione są na detekcję niebieskiego. Wartość H (Hue) min. 
counterMarkerHHI: 110 # jak wyżej tylko max
counterMarkerSLOW: 120 # wartość minimalnego nasycenia (Saturation) 
counterMarkerVLOW: 120 # minimalne V (Value) koloru karteczki. 
maxImageHeight: 600 # automatyczne przeskalowanie w dół - ustaw jeśli karmisz program dużymi obrazkami. 
digitCount: 7 # Łączna liczba cyfr na liczniku (łącznie z tą po przecinku)

9. Kiedy będziesz miał satysfakcjonujące wyniki  z wcześniej zapisanych zdjęć to pora na trening naszego algorytmu. Uruchom emeocv z opcją -l (Learn). Teraz program będzie pokazywał serię zdjęć i pytał cię o klasyfikację zdjęć poszczególnych cyfr do skali 0-9. Potrzebujesz z grubsza tyle samo próbek dla każdej z cyfr. Możesz skorzystać z opcji emeocv -p żeby pokazać statystyki nauki.

./emeocv -p
OCR stats:
Trained responses: 1094
Trained responses histogram:
Digit '0'->167
Digit '1'->184
Digit '2'->152
Digit '3'->148
Digit '4'->64
Digit '5'->60
Digit '6'->60
Digit '7'->112
Digit '8'->73
Digit '9'->74

10. Pora na automatyczne rozpoznanie cyfr na całym zbiorze zdjęć i pokazanie wyników

./emeocv -t -i obrazki/ -vDEBUG -s 10

11. Jeśli wyniki są ok to produkcyjnie odpalamy robienie zdjęć (np. co 2 minuty), analizę i wyplucie wyników do CSV. Służy do tego opcja -w (Write).

Dla kamerki raspberry PI polecam wykorzystanie operacji  -k, która pobiera zdjęcia z wyniku działania komendy w pliku config.yml. Domyślnie jest to raspistill czyli miniprogram na raspbianie do robienia zdjęć:

cliCaptureCommand: raspistill -w 800 -h 600 -n -o

Teoretycznie możesz tu nawet wsadzić pobieranie zdjęć z innego urządzenia.

Alternatywnie użyj operacji -c (czyli Camera, podaj nr kamery np. -c0). Opcja wykorzystuje API openCV do odczytu z kamery. Mnie się ta opcja nie sprawdziła bo zdjęcia wychodziły albo za ciemne, albo poszczególne odczyty bardzo różniły się od siebie.

12. Wyniki będą się pojawiać w pliku emeocv.csv w katalogu Release. Patrz w logi emeocv.log i nie przejmuj się jeśli po kilkunastu przeanalizowanych zdjęciach plik jest pusty. Program cache'uje wyniki z ostatnich chyba 12 wyników i dopiero kiedy uzyska sensowną niemalejącą serię odczytów to dokonuje zapisu do pliku. Plik CSV możesz potem wciągnąć gdzie chcesz np. do arkuszy Google. Skorzystaj z mojego.

Więcej informacji znajdziesz na https://github.com/wof2/emeocv2

Wersja z wykorzystaniem telefonu komórkowego - wkrótce

[Treker (Damian Szymański)]

@codo, właśnie zaakceptowałem opis. Dziękuję za przedstawienie ciekawego projektu, zachęcam do prezentowania kolejnych DIY oraz aktywności na naszym forum

[RFM]

Projekt bardzo ciekawy zwłaszcza wykorzystanie kamery bo przeważnie w przypadku liczników wykorzystywana jest dioda sygnalizująca zużycie energii.

U siebie problem rozwiązałem licznikiem ORNO-514 (504 wariuje przy małych mocach) + WemosD1. Mam nie tylko informację o sumarycznym zużyciu energii ale także chwilowej mocy zarówno czynnej jak i biernej, napięciu, prądzie, współczynniku mocy http://es2.noip.pl:83/ Dane zapisuję w plikach CSV co 10 sekund na serwerze lokalnym i w Internecie więc nie ma problemu aby zrobić wykres w arkuszu kalkulacyjnym. Niewątpliwa zaleta jest pobór prądu poniżej 1W (ORNO + ESP) w porównaniu do RPi (2..3W). Samo RPi jest droższe niż ORNO + ESP a trzeba jeszcze doliczyć koszt kamery i karty SD, zasilacza (niewątpliwie dla RPi zasilacz będzie droższy niż dla ESP).

Więcej o moim rozwiązaniu można przeczytać na Forbot

 

[codo]

@RFM W moim przypadku licznik nie posiada diody pulsującej w miarę zużycia energii. Nie miałem też możliwości ingerować z tablicę z bezpiecznikami (np. instalować szynę DIN i wpinać licznik ORNO). W takich okolicznościach (+ przy odczycie licznika wody/gazu) przydaje się analiza obrazu. W pozostałych super musi sprawdzać się Twój projekt - gratulacje! . 

Edytowano Grudzień 6, 2019 przez codo

[tomecki]

Przy ocr najważniejsza jest optyka aparatu. Przy skanowaniu książek stosuje się np. wysokiej jakości lustrzanki oraz wysoką rozdzielczość obrazu. 

Spróbuj wymienić aparat na coś lepszego, problemy z odczytem mogą wynikać ze złej jakości zdjęć. 

[ethanak]

2 godziny temu, tomecki napisał:

Przy skanowaniu książek stosuje się np. wysokiej jakości lustrzanki oraz wysoką rozdzielczość obrazu.

Naprawdę? Do tesseracta wystarczy 150 DPI i jakaś paszczarska komórka. Większa rozdzielczość potrzebna jest wyłącznie do korekty geometrii (zagięcie strony). Optyka aparatu ma tu drugorzędne znaczenie, jako że algorytm OCR powinien rozpoznać również zniekształcony obraz.

[majsterkowo]

Czołem!
Na wstępie chciałbym podziękować za rzetelne opisanie projektu. Sam się właśnie zabieram za przygotowywanie instalacji pomiarowej i wykorzystam Twój opis do odczytów z licznika prądu, gazu i wody.

Mam jedno pytanko - jak program sobie radzi z odczytem, jeżeli cyfry są akurat w połowie przestawiania (widać np. dolną połowę piątki i górną połowę szóstki)? Przy dostarczeniu dostatecznej ilości próbek w czasie nauki poradzi sobie później z takimi odczytami?

Pozdrawiam!
Łukasz

[codo]

Hej, cieszę się, że ktoś skorzysta z rozwiązania. 
Jeśli chodzi o odczyt cyfr które nie są w pełni widoczne to obawiałem się tego bardzo i próbowałem nawet trenować system do ich obsługi. W praktyce nie ma z tym problemu. Wystarczy robić zdjęcia co ok 10 - 120 sekund (w zależności od szybkości zużycia energii w obiekcie). W końcu zrobisz ujęcie pełnej czy prawie pełnej cyfry. Luz.

[majsterkowo]

Super. Będę próbował.

Na razie ułatwiłem sobie sprawę z licznikiem gazu, bo znalazłem w nim miejsce, w którym przyłożony kontaktron dostaje impuls co 10 dm3, więc jeden licznik mi już odpadł. W internetach piszą, że w wodomierzu Flodis też powinno się dać wyłapywać impulsy kontaktronem, ale na razie jeszcze nie udało mi się namierzyć skąd dokładnie je wyłapywać.

No ale przedpotopowego licznika prądu już tak prosto nie ogarnę, więc będę walczył z Twoim projektem.

[mario246]

Witam. Nie wiem czy widzieliście ale za parę stówek można kupić normalny licznik zakładany za głównym bezpiecznikiem nawet 3 fazowy z komunikacją modbusa lub inną, który znacząco ułatwi stronę programowa