Skocz do zawartości

Wzrok robota - interpretacja obrazu


Marek777

Pomocna odpowiedź

Witam,

Zastanawiam się nad zrobieniem wzroku do robota. Mam na myśli prawdziwy wzrok, a nie bierne przesyłanie sygnału.

Jeśli chodzi o sprzęt, to rozdzielczość nie jest istotna, a najważniejsze jest przetwarzanie informacji o obrazie i uogólnienie tak zinterpretowanych danych.

Przetwarzanie informacji powinno zajmować niewielką moc obliczeniową.

Mam nadzieję, że we wspólnej burzy mózgów, pojawi się koncepcja działania.

------------------

Wstępnie na punkt odniesienia wybrałem owada z oczami segmentowymi. Czyli mała rozdzielczość i mimo to duża ilość informacji o otoczeniu.

W związku z tym, jak można zinterpretować z obrazu np.drzewo które jest nieruchome?

Owad przecież potrafi omijać takie przeszkody.

Pozdrawiam.

Link do komentarza
Share on other sites

Marek777,

Zakładasz, że podobnie jak u człowieka wiodącym zmysłem owada jest wzrok? Myślę, że musisz wziąć pod uwagę interakcję zmysłów (innych niż wzrok) przy określaniu położenia celu, a to jest opowieść długa jak ewolucja... (ja do piekarni, zaraz po jej otwarciu, trafiam na węch). Najprostszym robotem przetwarzającym bodźce wzrokowe jest "światłolub" 🙂

pozdrawiam

qu.i

Link do komentarza
Share on other sites

Proszę, nie zmieniajmy tematu. Oczywistą rzeczą jest, że owady mają wiele zmysłów i wzrok na pewno nie jest dominujący. Ale ja się chcę zająć zmysłem wzroku. Wybrałem owada, ponieważ ma najprostszy układ i pomaga skupić się na sednie sprawy.

Światłolub jest złym przykładem, ponieważ nie ma w nim analizy obrazu, a jedynie bardzo prymitywne określenie kierunku świecenia.

Czy ma ktoś ogólny pomysł na sposób przetwarzania widzenia?

Link do komentarza
Share on other sites

Czy ty naprawdę oczekujesz od nas, że ci tu wyłożymy w przystępny sposób dziedzinę wiedzy, która się bardzo gwałtownie rozwijała przez ostatnie 50 lat, której wielu profesorów poświęciło swoje kariery, i w której można zrobić doktorat ograniczając się do bardzo małego detalu? Co to w ogóle według ciebie znaczy "zrobienie wzroku"? Co chcesz z tego obrazu uzyskać? Położenie w przestrzeni? Informację o przeszkodach? Rozpoznawanie obiektów? Lokalizacja obiektów? Wykrywanie ruchu? Mapowanie? Podążanie za obiektem? Malowanie portretów?

Może zanim się wygodnie rozsiądziesz w fotelu i każesz się karmić wiedzą najpierw zrobisz jakieś minimalne rozpoznanie zagadnienia, choćby zaglądając na stronę Wikipedii? Bo w ten sposób jak teraz, to naprawdę nie ma o czym mówić, bo nawet nie będziesz mieć odpowiedniego słownictwa, żeby prowadzić dyskusję.

Link do komentarza
Share on other sites

Zarejestruj się lub zaloguj, aby ukryć tę reklamę.
Zarejestruj się lub zaloguj, aby ukryć tę reklamę.

jlcpcb.jpg

jlcpcb.jpg

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

@deshipu, widzę po Twoim lekceważącym podejściu, że nic nie masz do przekazania.

Mam nadzieje, że jest tu wielu ludzi z otwartymi umysłami na wspólne rozwiązywanie ciekawych zagadnień.

Co do wstępnego założenia, to napisałem o nim w pierwszym poście.

Jednak przypomnę: Jak owad może omijać przeszkody? Mimo posiadania tak niewielkiego układu nerwowego.

Link do komentarza
Share on other sites

Dobrze, poczekajmy na tych ludzi. Też jestem ciekaw co mają do powiedzenia ponad to, co można wyczytać z tysięcy artykułów popularno- i bardzo-naukowych dostępnych w sieci a traktujących o przetwarzaniu obrazów

"Jak owad może omijać przeszkody"

Jako laik w sprawach biologii myślę, że wyczuwając czułkami przeszkodę owad może po prostu zmieniać kierunek chodu poprzez inne przebieranie nóżkami z lewej a inne z prawej strony. W przypadku lotu, oprócz prawo-lewo można jeszcze próbować górą lub dołem.

Link do komentarza
Share on other sites

@Marek777 nie wiem kto tu kogo lekceważy, ale mam propozycję. Zamiast czekać z założonymi rękami na te tabuny ludzi chętnych pracować nad twoim genialnym pomysłem może się przejdziesz do biblioteki i spróbujesz samemu sobie odpowiedzieć na swoje pytanie? Skoro to takie proste, to nie powinno to takiemu wyjadaczowi zająć dużo czasu. Jak już się dowiesz, to wróć tu i napisz do czego doszedłeś, to wtedy będzie jakaś podstawa do dyskusji.

Po drodze do biblioteki możesz się także zastanowić dlaczego, skoro to takie trywialne, nie jesteśmy otoczeni przez roboty i inne urządzenia używające właśnie takich owadzich oczu i jak to się mogło stać, że nikt przed tobą na to nie wpadł.

[ Dodano: 07-11-2017, 18:39 ]

@marek1707 masz rację, że większość owadów posługuje się głownie czułkami — zarówno jako czujnikami dotyku, jak i czujnikami chemicznymi — i tym się kierują. Niestety w czasie lotu to jest trochę za mało — owszem, praktycznie wszystkie owady latają "na zapach", ale do wykrywania przeszkód rzeczywiście używają wzroku. Zresztą nie najlepiej, o czym można się łatwo przekonać obserwując muchy na szybie, lub ćmy latające wokół lampy. Na szczęście przy tych rozmiarach i masie nawet zderzenie z przeszkodą przy pełnej prędkości nie jest bolesne (owady i tak nie czują bólu, ale to już osobna kwestia).

Link do komentarza
Share on other sites

To był tylko skrót myślowy. Jasne, do latania widzenie się przydaje i nawet nie przyszło mi do głowy, że muchy omijają meble na węch i/lub czułki. Chciałem tylko wskazać, że w prostszych przypadkach wystarczą prostsze metody.

Link do komentarza
Share on other sites

Nie za bardzo jest sens iść do biblioteki, ponieważ nikt na to jeszcze nie wymyślił.

A to nie będzie mój, tylko wspólny nasz pomysł.

Ja chcę tylko zainicjować wspólne rozważania.

Zresztą nie najlepiej, o czym można się łatwo przekonać obserwując muchy na szybie, lub ćmy latające wokół lampy.
To akurat nie jest związane ze zmysłami tylko z dużą szybkością i zbyt powolną reakcją owadów na takie zagrożenie. A latanie wokół lampy to odruch związany z orientowaniem się w przestrzeni podczas lotu, gdzie punktem odniesienia jest księżyc.

Natomiast czujniki chemiczne u owadów latających wykorzystywane są tylko do celów prokreacji i pokarmowych.

Link do komentarza
Share on other sites

@deshipu, chłopie znajdź sobie dziewczynę, a nie wypisujesz ciągle nic niewnoszące posty. Jeśli chcesz tak odpowiadać to znajdź sobie inny temat na tym forum do swoich odzywek...

Nie da się znaleźć informacji na temat przetwarzania widzenia, który jest w stanie omijać przeszkody. Stosowane obecnie np. w samochodach Tesli bazują na rozpoznawaniu znaków i ruchomych obiektów.

Ja natomiast chcę poruszyć wspólny-forumowy temat rozpoznawania nieruchomych przeszkód.

Zachęcam wszystkich do wspólnej dyskusji.

Link do komentarza
Share on other sites

No dobrze: zastanawiasz się, masz nadzieję, chcesz..

Skoro poświęciłeś temu zagadnieniu pewnie już kilka godzin, dni, miesięcy, lat - niepotrzebne skreślić, to zacznij pisać. Być może nikt nie wie tyle co Ty, być może po prostu nie wiemy o co Ci chodzi. Proszę, czekamy na Twoje pierwsze przemyślenia.

Jak na razie widzę, że nie masz pojęcia o temacie, albo posługujemy się zupełnie innymi skalami:

"Przetwarzanie informacji powinno zajmować niewielką moc obliczeniową"

Opisz od jakiego obrazu zaczął byś zabawę, choćby myślową. Masz klatkę z kamery - tak chyba łatwiej niż wykonywać złożone oko owada - powiedzmy staruchnej telewizyjnej 312 linii i samplujesz ją do obrazu 320x200 pixeli. Może być 64x64 lub 1024x1024, napisz ile lubisz, dziś tego typu przetworniki video lub gotowe kamerki kosztują grosze. Powiedzmy, że obrazu czarno-białego, chyba że to jakoś Ci nie pasuje do koncepcji. Niczego nie zakładam, tylko piszę co mi ślina przynosi. Dostałeś zatem tablicę 64000 liczb określających jasność każdego punktu. Co dalej? Jak chcesz przejść z czegoś takiego na spis obiektów tam widocznych? Przemyślałeś już coś? Jakieś wstępne operacje na histogramie, detekcja krawędzi, potem obszarów, zamykanie konturów, ocena odległości na podstawie analizy interframe lub obrazu z drugiej kamery, synteza obiektów 3D, mapowanie ich na fizyczne otoczenie? To wszystko są tylko dziecinne zabawki w bibliotekach analizy obrazów. A gdzie sieć wykrywająca znane obiekty? Gdzie rozumienie znaczeń? Gdzie planowanie trajektorii, czy da się przelecieć między dwoma słupami lub oczkami siatki? No i masz tych obrazów np. 25 na sekundę. Już zrobiło się ponad 1.5MB/s samych danych wejściowych. Gdybyś chciał tylko zrobić proste filtrowanie 3x3, już potrzebujesz prawie 15 milionów mnożeń i tyle samo dodawań na sekundę. A przecież jeszcze nic poważnego z obrazem tak naprawdę nie zrobiłeś..

"..niewielką moc obliczeniową"?

Jak myślisz, dlaczego te żałosne samochody autonomiczne są wypchane czipami z kart graficznych robiącymi teraflopsy za cenę kilowatów mocy? Przecież gdyby tylko chodziło o znaki drogowe i światła na skrzyżowaniu już dawno byśmy jeździli bez kierowców. Nie, problemem jest właśnie wszystko inne, bo świat jest zaskakująco nietypowy. Twój mózg musiał się dwa lata uczyć chodzić a nawet do dzisiaj jakoś nie pojął stopnia skomplikowania tego co Cię otacza. Widzisz i nie rozumiesz - jak początkujący samochód..

Między nawet najlepszą lustrzanką z obiektywem i matrycą za milion dolarów robiącą mega-wypasione zdjęcia a systemem rozumienia tych zdjęć jest przepaść jak między hulajnogą a wahadłowcem kosmicznym. Deshipu próbował Ci to wytłumaczyć, ale nie dotarło. Prosimy więc: zacznij pisać - konkrety lub tylko mrzonki. Cokolwiek. Przecież chyba nie zacząłeś tego wątku z naiwnym założeniem, że odwalimy za Ciebie całą dyskusję, prawda? Poczuj się tu gospodarzem, po prostu pisz. Jeśli to będzie miało ręce i nogi, sam zobaczysz jak wątek wybuchnie od pomysłów. Jeśli nie, radziłbym jednak odwiedzić tę niedocenianą bibliotekę.. Może Cię miło zaskoczyć.

Link do komentarza
Share on other sites

Widzę, że myślicie strasznie stereotypowo i dlatego błędnie zakładacie, a szkoda.

Wzrok owada, na którym się chce wzorować, ma bardzo niską rozdzielczość. Mimo tak "słabego" widzenia dokładnie potrafi omijać przeszkody w czasie lotu.

Błędem jest też mówienie (jak to powtarza @deshipu), że owady do omijania przeszkód wykorzystują zmysły węchu. Oczywiście owady tylko chodzące wykorzystują czułki, ale dla załóżmy że mówimy o owadach latających, aby skupić się tylko na wzroku.

Tak wygląda sztuczne "oko" segmentowe owada:

IMG_5a0415dbef7827614.jpg

https://www.chip.pl/2013/05/pierwszy-obiektyw-jak-oko-pszczoly/

Jak widać na powyższym zdjęciu wzrok owada ma bardzo niską rozdzielczość (choć u prawdziwego owada jest ich trochą więcej), a mimo to potrafi omijać skutecznie przeszkody.

Dla założenia można przyjąć rozdzielczość obrazu 32x32 (lub nawet mniejszą) dla niewielkiego kąta widzenia "owada".

Układ nerwowy owada latającego też nie jest zbyt skomplikowany. Dla przykładu taki konik polny ma ok. 16.000 neuronów. Latający ma ich znacznie więcej, ale i tak nie są to gigantyczne ilości jak u ssaków.

PS: @marek1707, szkoda że mimo otwartego umysłu, o czym świadczą Twoje wpisy, dajesz się wciągnąć do takiej formy dyskusji jaką prezentuje @deshipu.

Link do komentarza
Share on other sites

Błędem jest też mówienie (jak to powtarza @deshipu), że owady do omijania przeszkód wykorzystują zmysły węchu.

Ja bym jednak jeszcze raz polecił tę bibliotekę. Poćwiczysz umiejętność czytania ze zrozumieniem, na pewno ułatwi ci to w przyszłości życie.

Link do komentarza
Share on other sites

Dołącz do dyskusji, napisz odpowiedź!

Jeśli masz już konto to zaloguj się teraz, aby opublikować wiadomość jako Ty. Możesz też napisać teraz i zarejestrować się później.
Uwaga: wgrywanie zdjęć i załączników dostępne jest po zalogowaniu!

Anonim
Dołącz do dyskusji! Kliknij i zacznij pisać...

×   Wklejony jako tekst z formatowaniem.   Przywróć formatowanie

  Dozwolonych jest tylko 75 emoji.

×   Twój link będzie automatycznie osadzony.   Wyświetlać jako link

×   Twoja poprzednia zawartość została przywrócona.   Wyczyść edytor

×   Nie możesz wkleić zdjęć bezpośrednio. Prześlij lub wstaw obrazy z adresu URL.

×
×
  • Utwórz nowe...

Ważne informacje

Ta strona używa ciasteczek (cookies), dzięki którym może działać lepiej. Więcej na ten temat znajdziesz w Polityce Prywatności.