Freestyle Samochód z podglądem FPV oparty na RaspberryPi

[remoteme_org 10]

O mnie

Witam, Jestem Maciej - pracuje jako software architect (nie mam wykształcenia elektronicznego dlatego proszę o wyrozumiałość jeżeli chodzi o połączenia i rozwiązania - z tego też powodu w projekcie nie daje gotowego przepisu na zasilanie ) i żeby do końca nie zgnuśnieć po godzinach tworzę platformę RemoteMe. W platformie chodzi głównie o ułatwienie sterowaniem urządzeniami IoT poprzez internet - bez konieczności posiadania VPNa, publicznego IP. Po stronie RemoteMe tworzycie strony internetowe ( RemoteMe posiada hosting na Wasze pliki ) + zestaw bilbiotek (Javascript, RasbeprryPi (python), Arduino ESP ) które w łatwy sposób pozwolą na komunikowanie się z Waszymi urządzeniami. Co do protokołu to opracowałem własny (bardziej jest to konwencja przesyłu paczek niż protokół jako taki ) (działa przez sockety, websockety, wywoływania RESTowe)  - umożliwia on przesył wiadomości do określonego urządzenia, i coś w rodzaju topic- subscribera ( u mnie się to nazwa"variables" zmienne )
Wasze urządzenia rejestrują się w RemoteMe po zarejestrowaniu, możecie do nich wysyłać komendy przez stronę internetową albo z innych urządzeń.

Jednym z ostatnich featerów są "Out of the box projects" - polega to na tym, że jednym kliknięciem importujecie projekt na Wasze konto - oczywiście możecie potem wszytko zmieniać wedle własnych pomysłów - właśnie ostatnim takim projektem jest Samochód RaspberryPi z kamerką o którym w tym kursie.

Projekt jest częściowo openSourcowy - bilbioteki Javascript, Python, api Restowe są openSource - sam kod serwera i program na RasbeprryPi jest zamknięty. Platformę tworzę sam - po godzinach i udostępniam za darmo

O kursie

Ten kurs – przedstawia budowę samochodu sterowanego przez przeglądarkę z wyświetlaniem obrazu z kamerki. Jest to dość specyficzny kurs (jak pisałem wyżej ) – całość oprogramowanie jest już zrobiona, a dodanie plików do własnego konta w RemoteMe sprowadza się do paru kliknięć. Po tak dodanym projekcie można własnoręcznie i dowolnie edytować wszystkie pliki źródłowe (strona WWW skrypt pythonowy) – zwłaszcza, że same pliki projektu nie są skomplikowane, a kod jest dość czytelny i samo opisujący się (mam przynajmniej taką nadzieję  )

Na dole kursu opisana jest bardziej szczegółowo zasada działania samochodu. Jeżeli nie jesteście zainteresowani samą platformą RemoteMe to i tak myślę, że w kursie znajdziecie garść pomysłów na podobny projekt

Kurs właściwy

Na filmie działanie + krok po kroku wszystko z tego kursu. W poprzednim kursie pokazałem jak sterować pozycją kamerki i przechwytywać obraz na przeglądarkę tutaj  i sterowanie kamerką tutaj . Teraz rozbudujemy ten projekt i zbudujemy samochód z napędem na 4 koła ( sterowany podobnie jak czołg – żeby skręcić prawa para kół musi się kręcić z inną prędkością niż lewa). Taki efekt otrzymamy na wideo też całość kursu – można zaglądnąć, gdy gdzieś utkniecie

Części

• RaspberryPi z wifi ( np zeroW) link
• Podwozie z silnikami link
• Sterownik serwomechanizmów na I2C link
• Kamera do Rpi + taśma jeżeli potrzebna link
• Dwa SerwoMechanizmy kompatybilne z uchwytem kamerki kamery link
• Uchwyt na kamerkę z serwami link
• Mostek H TB6612FNG link
• Zasialnie – np akumlatory podłączone do przetwornicy – żeby uzyskać odpowiednie napięcie link

Połączenia

RaspberryPI steruje serwami poprzez moduł PWM i napędem przez ustawianie stanu pinów na mostku oraz dostarczając sygnału PWM poprzez ten sam moduł, który wysyła sygnał do serwomechanizmów. (Dzięki modułowi do generowanie sygnału PWM nie musimy tych sygnałów generować przez samo RaspberryPi – co jest dość problematyczne, poprostu przez I2C przesyłamy odpowiednie instrukcje do sterownika serw (poprzez bibliotekę pythonową dostarczoną przez adafruit), a ten generuje odpowiedni sygnał PWM dla serwo mechanizmów i do mostka H)

Schemat połączeń:

Poprzez magistrale I2C RPi steruje kontrolerem serwo mechanizmów, dwa ostanie wyprowadzenia kontrolera są podłączone do mostka H, gdzie wykorzystując sygnał PWM ustawiamy prędkość silników. Do mostka H są również podłączone piny RPi które stanami wysokim i niskim będą określać kierunek obrotu silników napędowych – po szczegóły odsyłam do dokumentacji układu TB6612FNG, równie dobrze można użyć mostka L298N lub podobnego.

Zaprojektowałem płytkę PCB, którą możecie użyć pliki eagle,gerber itd tutaj plik pcb.zip Schemat płytki pokrywa się ze schematem powyżej. Wyprowadzenia płytki:

1. Wejście sygnału PWM z kanałów 15 i 14 modułu PWM
   
2. Wejście zasilania silników do poruszania się
3. Zasilanie układów (PWM, RPi) koniecznie dokładne +5V
4. Wyjście silników napędu, pierwsze dwa wyjścia do jednej pary silników kolejne dwa do drugiej
5. Zasilanie serw i w tym przypadku silników napędu w moim przypadku ~6V (należy sprawdzić w specyfikacji serw i silników, jakie maksymalne napięcie można podłączyć)
6. ZWORKA gdy zepniemy dwa piny napięcie z 5 będzie podawane też do zasilania silników napędu
7. ZWORKA gdy jest podłączona zasilane jest RaspberryPI z połączenia 3 przed podłączeniem zworki należy dokładnie sprawdzić napięcia, żeby nie uszkodzić Najdroższego komponentu czyli właśnie malinki
8. Wlutowujemy kabelki, bo nie będziemy korzystali z konwertera stanów
9. Wlutowujemy kabelki, bo nie będziemy korzystali z konwertera stanów

Oczywiście jest jeszcze potrzebne odpowiednie zasilanie, w moim przypadku 6v jako napięcie silników napędu i serw, oraz 5v dla RasbeprryPi i kontrolerów. Poniżej kilka zdjęć poglądowych całości samochodu:

Programowanie

Przed utworzeniem projektu skonfigurujcie kamerkę i komunikacje I2C używając raspi-config opisane tutaj. Ten projekt jest jednym z gotowych projektów, które możecie prosto zaimplementować kilkoma kliknięciami: KLIK - po zalogowaniu otworzy się projekt. Przejdźcie do zakładki “Build It” i podążajcie krokami, na końcu klik w “Build Project” i otrzymacie:

Po kliknięciu “Get QR” pokaże się kod QR, który możecie zeskanować smartfonem, lub po prostu otworzyć stronę przyciskiem “Open” w przeglądarce na komputerze. Narazie nie radzę zmieniać pozycji kamery dopóki nie ustawimy pozycji serw – w niektórych przypadkach możecie uszkodzić swoje serwomechanizmy. Samochód powinien jeździć jak na filmie – może się zdarzyć, że skręca w złą stronę albo serwa są źle skalibrowane, poniżej w omawianiu kodu napisałem jak to naprawić.

Omówienie tego, co się stało

Jak zauważyliście, tworzenie projektu było mocno zautomatyzowane. Dlatego omówię teraz, co się dokładnie wydarzyło i jak modyfikować Wasz projekt. Przede wszystkim utworzyły się dwie zmienne (zakładka variables):

Zmienna cameraPos przesyła pozycje kamery, drive pozycje joysticka. Obie są typem “Small int x2” oznacza to, że wartoscią zmiennej są dwie liczby integer. Strona internetowa zmienia nasze zmienne, a skrypt pythonowy te zmiany rejestruje i odpowiednio reaguje (jak rozwiniemy zmienne zobaczymy, że urządzeniem nasłuchującym na zmiany jest właśnie skrypt pythonowy). Zobaczmy jak wygląda kod Pythonowy (więcej o zmiennych tutaj)

Python

Skrypt pythonowy został automatycznie wgrany. Oczywiście możemy go podejrzeć i modyfikować ( żeby stworzyć nowy skrypt pythonowy np dla innych projektów zobacz tutaj) . Z informacji jakie teraz są Ci potrzebne to skrypt pythonowy to kolejne urządzenie w remoteMe jest zarządzalne przez skrypt (uruchomiony przez ./runme.sh) , do tego urządzenia możemy wysłać wiadomości, urządzenie reaguje też na zmiany zmiennych, które obserwuje i może te zmienne zmieniać.

Żeby otworzyć skrypt pythonowy kliknij python.py i wybierz Edit :

Wygląda on następująco. Poniżej omówię ciekawsze fragmenty

import logging
import socket
import math
import struct
import sys
import os

os.chdir(sys.argv[1])
sys.path.append('../base')

import remoteme

import Adafruit_PCA9685
import time
import RPi.GPIO as GPIO

motorAIn1 = 25  # GPIO25
motorAIn2 = 8  # GPIO8

motorBIn1 = 24  # 24
motorBIn2 = 23  # 23

motors = [[motorAIn1, motorAIn2], [motorBIn1, motorBIn2]]

motorsPWM = [14, 15]
pwm = None;

def motorForward(motorId):
    GPIO.output(motors[motorId][0], GPIO.LOW)
    GPIO.output(motors[motorId][1], GPIO.HIGH)


def motorBackward(motorId):
    GPIO.output(motors[motorId][0], GPIO.HIGH)
    GPIO.output(motors[motorId][1], GPIO.LOW)


def motorSoftStop(motorId):
    GPIO.output(motors[motorId][0], GPIO.LOW)
    GPIO.output(motors[motorId][1], GPIO.LOW)
    
def setMotor(motorId, speed):
    if speed == 0:
        motorSoftStop(motorId)
    elif speed > 0:
        motorForward(motorId)
    elif speed < 0:
        motorBackward(motorId)
        speed=-speed

    logger.info("set speed {} for motor {} ".format(speed,motorId))
    pwm.set_pwm(motorsPWM[motorId], 0, int(speed))

def onCameraPosChange(i1, i2):
    global pwm
    logger.info("on camera change {} , {}".format(i1, i2))
    pwm.set_pwm(1, 0, i1)
    pwm.set_pwm(0, 0, i2)
    pass

def onDriveChange(x, y):
    logger.info("on drive change  x {} , y {}".format(x, y))
    global pwm
    
    left=y
    right=y
    
    left+=x
    right-=x
    
    delta=(left+right)/2
    
    
    left+=delta
    right+=delta
    
    # when your car doesnt drive as suppose try to swich right and left variable below
    # or remove add minuses next to 2
    # another way is to switch cables conencted to motors
    setMotor(0, 2*left)
    setMotor(1, 2*right)
    pass


def setupPWM():
    global pwm
    pwm = Adafruit_PCA9685.PCA9685()
    pwm.set_pwm_freq(80)

def setupPins():
    global GPIO
    GPIO.setmode(GPIO.BCM)  # Broadcom pin-numbering scheme

    for motor in motors:
        for pinId in motor:
            GPIO.setup(pinId, GPIO.OUT)
    
try:

    logging.basicConfig(level=logging.DEBUG,
    format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
    datefmt='%d.%m %H:%M',
    filename="logs.log")

    logger = logging.getLogger('application')
    setupPWM()
    setupPins()
    remoteMe = remoteme.RemoteMe()

    remoteMe.startRemoteMe(sys.argv)
    remoteMe.getVariables().observeSmallInteger2("cameraPos" ,onCameraPosChange);
    remoteMe.getVariables().observeSmallInteger2("drive" ,onDriveChange);
    remoteMe.wait()

finally:
    pass

Sterowanie silnikami:

def motorForward(motorId):
    GPIO.output(motors[motorId][0], GPIO.LOW)
    GPIO.output(motors[motorId][1], GPIO.HIGH)


def motorBackward(motorId):
    GPIO.output(motors[motorId][0], GPIO.HIGH)
    GPIO.output(motors[motorId][1], GPIO.LOW)


def motorSoftStop(motorId):
    GPIO.output(motors[motorId][0], GPIO.LOW)
    GPIO.output(motors[motorId][1], GPIO.LOW)
    
def setMotor(motorId, speed):
    if speed == 0:
        motorSoftStop(motorId)
    elif speed > 0:
        motorForward(motorId)
    elif speed < 0:
        motorBackward(motorId)
        speed=-speed

    logger.info("set speed {} for motor {} ".format(speed,motorId))
    pwm.set_pwm(motorsPWM[motorId], 0, int(speed))

Funkcja setMotor dla motorId 1 lub 2 ustawia prędkość speed (może być ujemna). poprostu najperw na odpowiednich pinach  ustawiamy odpowiednio stany  (ruch do przodu do tyłu, hamowanie), a następnie w zależności od prędkości ustawiamy odpowiednio wypełnienie PWM korzystając ze sterownika serw.

def onCameraPosChange(x, y):
    global pwm
    logger.info("on camera change {} , {}".format(x, y))
    pwm.set_pwm(1, 0, x)
    pwm.set_pwm(0, 0, y)
    pass

Funkcja setMotor dla motorId 1 lub 2 ustawia prędkość speed (może być ujemna). poprostu najperw na odpowiednich pinach  ustawiamy odpowiednio stany  (ruch do przodu do tyłu, hamowanie), a następnie w zależności od prędkości ustawiamy odpowiednio wypełnienie PWM korzystając ze sterownika serw.

def onDriveChange(x, y):
    logger.info("on drive change  x {} , y {}".format(x, y))
    global pwm
    
    left=y
    right=y
    
    left+=x
    right-=x
    
    delta=(left+right)/2
    
    left+=delta
    right+=delta
    
    # when your car doesnt drive as suppose try to swich right and left variable below
    # or remove add minuses next to 2
    # another way is to switch cables conencted to motors
    setMotor(0, 2*left)
    setMotor(1, 2*right)
    pass

Powyższa funkcja zostanie wywołana jak zmieni się zmienna drive – np po zmianie joysticka na stronie. x,y to po prostu współrzędne wychylenia joysticka (1024,1024) oznacza wychylenie maksymalnie do góry i w prawo. Na podstawie tych zmiennych wyliczamy prędkość lewej i prawej strony samochodu.

Jeżeli samochód skręca, zamiast jechać do przodu, jedzie do tyłu zamiast do przodu:

• setMotor(0, Y2*left)
• setMotor(1, X2*right)

Dajcie minusy w różnych kombinacjach (w miejsca X i Y) do czasu, aż samochód jedzie do przodu – gdy joystick jest wychylony do góry. (będzie to odpowiadać zamianą miejscami przewodów lewej strony dla miejsca Y i prawej strony dla miejsca X).

Następnie, jeżeli prawa i lewa strony są zamienione (samochód skręca w złą stronę ), w funkcji powyżej zamieńcie left i right miejscami.

def setupPWM():
    global pwm
    pwm = Adafruit_PCA9685.PCA9685()
    pwm.set_pwm_freq(80)

def setupPins():
    global GPIO
    GPIO.setmode(GPIO.BCM)  # Broadcom pin-numbering scheme

    for motor in motors:
        for pinId in motor:
            GPIO.setup(pinId, GPIO.OUT)

Po prostu ustawiamy odpowiednie piny (te do sterowania mostkiem H) na wyjścia. I tworzymy obiekt do kontrolowania sterowania serw. (Uwaga żeby sterownik serw działał prawidłowo musimy włączyć komunikacje I2C używając raspi-config więcej tutaj )

remoteMe.startRemoteMe(sys.argv)
remoteMe.getVariables().observeSmallInteger2("cameraPos" ,onCameraPosChange);
remoteMe.getVariables().observeSmallInteger2("drive" ,onDriveChange);
remoteMe.wait()

Ustawienie RemoteMe i ustawienie jakie funkcję mają zostać wywołane, gdy zmienne do sterowania kamery i napędu zostaną zmienione. To tyle w samym skrypcie pythonowym, jak widzicie, nie jest on zbyt skomplikowany, po więcej informacji zapraszam tutaj

Strona WWW

Tak naprawdę zostały stworzone dwie strony WWW — jedna do kalibracji druga — strona do sterowania samochodem i wyświetlania obrazu z kamerki. Otwórzmy stronę do kalibracji:

Otworzy się strona internetowa z dwoma suwakami. Ustawmy górny i dolny na środkową pozycję – kamera się poruszy-  górny suwak powinien poruszać kamerę w osi x, dolny y. Jeżeli się tak nie dzieje – zamieńcie miejscami przewody serwomechanizmu.

Następnie za pomocą suwaków ustalcie maksymalne wychylenie osi x i osi y dla mnie jest to:

• x : 298 – 830 i centralna pozycja. Ważne, żeby centralna pozycja byłą dokładnie pomiędzy przedziałem u mnie ((298+830) /2 = 564)
• y: 223 – 723 i podobnie centralna pozycja kamery w osi y powinna być w środku przedziału

Zapiszmy liczby gdzieś w notatniku i otwórzmy do edycji stronę do sterowania samochodem:

<camera autoConnect="true" showInfo="true" class="cameraView"></camera>
<connectionstatus webSocket="true" directConnection="false" camera="true"></connectionstatus>
<variable component="cameraMouseTrack" type="SMALL_INTEGER_2" style="display:block" name="cameraPos" xMin="298"
          xMax="830" invertX="true" yMin="223" yMax="723" invertY="true" requiredMouseDown="true"
          reset="true" onlyDirect="true"></variable>

<div class="joystickButtons">
    <div class="buttons">
        <variable class="gyroscope" component="gyroscope" type="SMALL_INTEGER_2" name="cameraPos"
                  label="Gyroscope Camera" orientationSupport="true"
                  xMin="298" xMax="830" xRange="19" invertX="true" yMin="223" yMax="723" yRange="20"
                  invertY="false" onlyDirect="true"></variable>
        <variable class="gyroscope" component="gyroscope" type="SMALL_INTEGER_2" name="drive"
                  label="Gyroscope Drive"
                  xMin="-512" xMax="512" xRange="19" invertX="false" yMin="-512" yMax="512" yRange="20"
                  invertY="false" onlyDirect="true"></variable>
        <button class="mdl-button mdl-js-button mdl-button--raised mdl-js-ripple-effect gyroscope" onClick="toggleFullScreen()">fullscreen    </button>

    </div>
    <div class="joystickParent">
        <variable class="joystick" component="joystick_simple" type="SMALL_INTEGER_2" name="drive"
                  xRange="1024" yRange="1024" onlyDirect="true"></variable>
    </div>
    <div style="clear: both;"/>
</div>

Są to automatyczne komponenty do sterowania samochodem i wyświetlaniem obrazu wideo. Strona, którą otworzyliście zawiera już wszystkie komponenty potrzebne do sterowania waszym samochodem. Jedyne co trzeba zrobić to zmienić zakres ruchów serwo mechanizmów.  xMin,xMax,yMin,yMax,  zamieńcie na wartości jakie otrzymaliście na poprzedniej stronie z suwakami.

Jeżeli chcecie stworzyć własną stronę ze swoimi komponentami najlepiej utworzyć ją od początku pokazane tutaj – pozwoli Wam to dodawać komponenty w przy pomocy kreatora, gdzie ustalicie potrzebne parametry, albo po prostu edytować źródła tej już utworzonej strony – wcześniej warto utworzyć kopię, gdyby coś poszło nie tak (albo skasować pliki i utworzyć projekt jeszcze raz – wtedy nie zapomnijcie wcześniej wykasować też zmienne)

Po zmianie wartości x/y/Min/Max możemy otworzyć naszą stronę np w smartfonie, klikamy na index.html, ale tym razem wybieramy opcje get anymous link Następnie, klikamy ikonkę kodu QR, a kod, który się pojawi skanujemy smarfonem. Oczywiście sterowanie działa również poprzez internet – nie tylko w sieci lokalnej, jednak w niektórych przypadkach jest potrzebna dodatkowa konfiguracja więcej o niej tutaj

Trochę szczegółów technicznych ( nie obowiązkowe )

RemoteMe serwuję stronę WWW do sterowania Waszym samochodem ( a dodatkowo Was loguje na Wasze konto – stąd token w linku otwieranym przez smartfon ) i uczestniczy w negocjowaniu tworzenia połączenia WebRTC. Połączenie webRTC jest to połączenie bezpośrednie (RaspberryPi – przeglądarka ( w niektórych przypadkach np za NATem jest potrzebny dodatkowo stun sewer)). Po stworzeniu połączenia webRTC stan zmiennych nie jest w ogóle wysyłany do remoteMe (bo pole “onlyDirect” w komponentach jest ustawione na true). Protokołem webRTC przesyłany jest też obraz, a że webRTC tworzy połaczenie point to point opóźnienie jest znikome.

Program na RaspberryPi który odpalacie poleceniem ./runme.sh tworzy połączenie websocketowe z platformą RemoteMe oraz zarządza skryptem pythonowym (wysyła do niego wiadomości, przesyła wiadomości ze skryptu dalej do platformy etc ). Działanie skryptu pythonowego jest możliwe dzięki dodatkowym bilbiotekom RemoteMe (znajdują sie w folderze leafDevices/base/ ).

Sama strona internetowa po websocketach łączy się do platformy RemoteMe (pozwalają na to skrypty javascriptowe zaimportowane w headerze pliku index.html ze ścieżek /libs/). Ułatwiają i ustanawiają komunikacje z platformą RemoteMe. Same komponenty wstawione w index.html typu : <variable component="**" W funkcjach pliku remoteMeComponents.js są zastępowane na “standardowe” i “bootstrapowe” komponenty htmlowe, dodatkowo do komponentów przypinane są eventy reagujące na akcje użytkownika i wysyłające odpowiednie komunikaty do skryptu pythonowego. Można podejrzeć jak  remoteMeComponents.js zamienia i tworzy nowe komponenty – może to być interesujące gdy macie potrzebę stworzenia własnych komponentów, które RemoteMe nie pozwala dodać z kreatora. W większości przypadków akcje Waszych komponentów będą wykonywać zapis zmiennych w postaci

RemoteMe.getInstance().getVariables() .setSmallInteger2("cameraPos",123,456,true); 

która wyśle do skryptu pythonowego informacje o zmianie zmiennej, podobnie sterujemy silnikami ustawiając odpowiednią zmienną.

Podsumowanie

Tworząc tej projekt chciałem pokazać Wam jak w łatwy sposób sterować Waszym samochodem z widokiem  FPV. Projekt można rozbudowywać, lub zmieniać np, gdy korzystanie z innego mostka H niż ja. Zachęcam zatem do eksperymentowania ze źródłami projektu  . Gdy jest to Wasz pierwszy projekt, zachęcam do zrobienia na początek projektu z mrugającą diodą i poczytanie dokumentacji na www.remoteme.org

Pozdrawiam,
Maciej

Edytowano 24 marca przez remoteme_org

[Treker 1265]

Właśnie zaakceptowałem Twój opis, dziękuję za przedstawienie ciekawego projektu, zachęcam do prezentowania kolejnych DIY oraz aktywności na naszym forum 

[jomal 1]

Jakie osiągasz opóźnienia obrazu skoro wszystko z tego co rozumiem wędruje przez internet?

[remoteme_org 10]

59 minut temu, jomal napisał:

Jakie osiągasz opóźnienia obrazu skoro wszystko z tego co rozumiem wędruje przez internet?

Hej,

sprostowanie - obraz (i komendy) NIE wędruje przez internet - no chyba, że masz w dwóch różnych sieciach np smartphone jest w internecie mobilnym, a samochodzik w internecie domowym

Opóźnienia sieć lokalna ~140ms

 Smartphone 4G, samochód sieć domowa ~170ms (jestem za Natem więc musiałem skorzytać z turn servera, który jest gdzieś w europie)

i jako dowód filmik zmontowałem

Czy da się szybciej - pewnie tak bo po różnicy opóźnień widać, że to największe opóźnienia generuje składanie obrazu przez RPI - więc pewnie kwestia buforowania.

Edytowano 24 marca przez remoteme_org

[mkowsky 2]

Świetny projekt, kawał dobrej roboty  Sam kiedyś miałem zamiar zabrać się za coś podobnego, może teraz będę miał większą motywację! Pozdrawiam

[Sqra 19]

Widzę sporo pracy włożyłeś w budowę a tym samym i czasu. Gratki! Może kiedyś również zbuduję jakiegoś robota. Ale chciałbym żeby był bardziej smart i przydał mi się do czegoś więcej niż tylko do zabawy. Chociaż dla mojego synka byłaby to frajda.