Wzrok robota - interpretacja obrazu

[marek1707]

Trudno, dałem się wciągnąć, tonę w tym po uszy, szkoda, nikt nie jest ideałem. Idźmy jednak za ciosem. Pokazałeś newsa ze zdjęciem chipu. Nie widziałem go i nie czytałem artykułu więc nie wiem czy jest to bioimplant fragmentu prawdziwego oka owada na krzemowym podłożu (raczej nie, zmarniałby bez odżywiania w 5 minut) czy struktura 3D fotodiod wraz z prostą optyką udająca takie oko, ale mamy start - rozdzielczość. Ze stopnia odchylenia poszczególnych czujników na tej "bułce" sądzę, że dokładnie to samo możesz osiągnąć biorąc kamerkę TV z typowym obiektywem 60-90° i skalując jej obraz do wspomnianych 32x32. Oczywiście energetycznie będzie ona dużo gorsza niż taka matryca (która pewnie właśnie dlatego została zrobiona - małe roboty nie mogą nosić w plecaku elektrowni), ale przecież nie robimy tu prawdziwej latającej sztucznej muchy 🙂 tylko rozważamy jej wzrok.

No to masz kamerkę. Nie możesz wybrać z niej po prostu matrycy 1024 pixeli, musisz zrobić downscaling całego obrazu przez filtrowanie by każdy pixel z tych 32x32 pokazywał energię całego obszaru na który patrzy a nie niepołączonych, odległych od siebie punktów. To też jest tylko operacja wstępna by dopasować nasz prymitywny hardware do wyobrażeń o wzroku owada i ceną jest energia, trudno. Mamy więc 1024 pixele. Co dalej? Tu możesz rozwinąć skrzydła, bo na razie nic odkrywczego nie zaprezentowałeś. Czekamy na Twoje przemyślenia i propozycje - być może głupich, to tylko burza mózgów - algorytmów i pomysłów a nie zdjęcia z internetu. Jakie cechy obrazu brałbyś pod uwagę? Co chciałbyś (na początek) wykrywać? Odróżniać jasne od ciemnych? Wtedy robisz światłoluba. Liczyć różnice między klatkami żeby wyznaczać co się zmieniło i na tej podstawie estymować odległości? Wtedy algorytm musi umieć sklejać większe obszary w plamy a te rozumieć jak bliższe lub dalsze przedmioty. Naprawdę ciekaw jestem czym mnie zaskoczysz.

[Marek777]

@marek1707, link do artykułu masz pod zdjęciem, ale to nieistotne.

Tak jak pisałem we wcześniejszych postach, rozdzielczość obrazu ma być niewielka. Optyki powiększającej kąt widzenia też nie trzeba stosować, gdyż nie musimy mieć widzenia dookolnego, a jedynie niewielki wycinek w celu obserwacji przed "owadem". Z tego wąskiego obszaru trzeba przetwarzać informację, aby "owad" zaczął omijać poprawnie przeszkody.

Dalej, jeśli wstępnie założymy obraz mono-kolorowy, bo do omijania przeszkód raczej nie jest to potrzebne, to trzeba jeszcze przewidzieć czym charakteryzują się obiekty które trzeba ominąć od nieistotnego tła.

Omijanie przeszkód zapewne jest związane z stereoskopowym ułożeniem oczu, ale przy tak małej rozdzielczości to nie jest takie łatwe. Podobnie fragmenty obrazu mogą być ciemniejsze i jaśniejsze, tylko to znów nie oznacza np. gałęzi do ominięcia, bo co jeśli gałąź będzie jaśniejsza od tła?

[deshipu]

trzeba jeszcze przewidzieć czym charakteryzują się obiekty które trzeba ominąć od nieistotnego tła.

To jest raczej proste. Charakteryzują się tym, że są bliżej.

Omijanie przeszkód zapewne jest związane z stereoskopowym ułożeniem oczu.

Ale przecież owady nie mają stereoskopowo ułożonych oczu. W każdym razie nie wszystkie. A jednak przeszkody omijają. Magia?

[Elvis]

Czytam sobie ten wątek chociaż niewiele wiem o budowie oka i mózgu owadów, ale jak na razie więcej jest w nim o ssakach i to naczelnych. Mam taką propozycję - nie odpowiadajmy jeśli nie mamy nic do powiedzenia, czy napisania. Wątek pewnie umrze wtedy śmiercią naturalną jak to w przyrodzie bywa i ewolucja raz jeszcze zatriumfuje. W pełni zgadzam się z opinią, że samo rzucanie pytań to trochę nieeleganckie rozwiązanie, autor powinien nieco wysiłku włożyć w przestudiowanie tematyki, ale podobno nie ma głupich pytań - więc tylko nie odpowiadajmy niemądrze.

Ale żeby nie zostawić wpisu bez złośliwości też mam pytanie: Jak mam zarobić kupę kasy? Inni zarabiają, więc się da - mam taki plan, nie chce mi się pracować, napiszcie mi jak mam zarobić milion $, czekam na burzę mózgów 😉

[Polecacz 101]

Produkcja i montaż PCB - wybierz sprawdzone PCBWay!
   • Darmowe płytki dla studentów i projektów non-profit
   • Tylko 5$ za 10 prototypów PCB w 24 godziny
   • Usługa projektowania PCB na zlecenie
   • Montaż PCB od 30$ + bezpłatna dostawa i szablony
   • Darmowe narzędzie do podglądu plików Gerber
Zobacz również » Film z fabryki PCBWay

[deshipu]

Jak mam zarobić kupę kasy?

To jest akurat bardzo proste. Napisz książkę o tym jak zarobić kupę kasy i ją sprzedawaj. Możesz też opisać to na jakimś blogu do którego podepniesz dużo reklam. Sukces gwarantowany.

Mam taką propozycję - nie odpowiadajmy jeśli nie mamy nic do powiedzenia, czy napisania. Wątek pewnie umrze wtedy śmiercią naturalną jak to w przyrodzie bywa i ewolucja raz jeszcze zatriumfuje.

Nie podoba mi się takie rozwiązanie, bo zamienia nasze forum w śmietnisko bezużytecznych pytań, na którym nie da się znaleźć żadnych odpowiedzi, a także nie daje nic zadającemu pytanie. Rozwiązanie obecne, choć jest drogą przez mękę, przynajmniej motywuje do minimalnego wysiłku umysłowego, co przy odrobinie szczęścia może się stać nawykiem i odmienić czyjeś życie.

[marek1707]

"Optyki powiększającej kąt widzenia też nie trzeba stosować"

Optyka nie jest po to by powiększać kąt widzenia tylko by uzyskać obraz rzeczywisty na detektorze/matrycy 2D. Każdy przetwornik obrazu musi ten obraz najpierw dostać. W przypadku owadziego oka złożonego każdy "pixel" jest osobnym detektorem i także musi mieć ustalony, wąski kąt widzenia, najlepiej taki który delikatnie zachodzi na pole widzenia sąsiednich. Dopiero wtedy razem stanowią oko niepomijające niczego (nie mające dziur w obrazie) a jednocześnie korzystające z maksimum padającej energii. No ale to przecież szkolne oczywistości, prawda?

A to czy zrobisz miniaturową soczewkę przy każdej fotodiodzie czy po prostu umieścisz ją w rurce to tylko kwestia rozwiązania mechanicznego. Ponieważ jednak oko złożone jest trudne do zrobienia i kompletnie niepodatne na modyfikacje, wolę myśleć o Twoim rozwiązaniu jak o kamerce ze skalowaniem obrazu do wymaganej niskiej rozdzielczości. Wystarczy wymienić obiektyw i masz inny kąt bez przebudowy ogromnej liczby osobnych czujników a zmiana algorytmu filtrowania pozwala na eksperymenty z różnymi rozdzielczościami bez wydawania majątku na diody i wzmacniacze do nich. Możesz spokojnie założyć, że są metody numeryczne dzięki którym macierz sygnałów na wyjściu kamery i oka złożonego z 1000 fotodiodek będzie identyczna więc blabla o oku owada mamy już za sobą. Jedź dalej.

Obraz monochromatyczny (ale niekoniecznie czarno-biały w sensie odbierania pełnego widma) nazywany jest w tej działce grey-scale. Dostajesz zatem informacje o jasności pixeli w jakimś wybranym zakresie spektralnym. Super, no ale co dalej? Mam konstruktywny pomysł na prosty test: weź dowolne zdjęcie wnętrza swojego pokoju i przeskaluj je do rozdzielczości 32x32 dowolnym programem graficznym a potem powiedz co jest czym i jak jest daleko. Albo jeszcze lepiej: niech ktoś wrzuci tu takie zdjęcie np. z lasu a Ty powiesz którędy ominąć drzewa.

Jak na razie piszesz banały oraz pytania. Czekamy na więcej. Rozkręć tę dyskusję merytorycznie, rzuć kilka ciekawych spostrzeżeń na które rzesze inżynierów i naukowców nie wpadły przez ostatnie 30 lat cyfrowego przetwarzania sygnałów.

[Marek777]

OK. Dopiero mnie oświeciło. To forum jest tylko formą reklamy sklepu/sklepów, w których ludzie czytając tu różne tematy są zachęcani do składania gotowych modułów/klocków w gotowe roboty i urządzenia.

W końcu po co myśleć twórczo jak można kupić gotowe moduły i z radością poskładać, przy okazji chwaląc się zamieszczając je na tym forum.

Więc, dziękuję za dyskusję.

[marek1707]

Cóż, długo nie musieliśmy czekać na dotarcie do granic Twojej wiedzy. Szkoda było mojego czasu choć mam nikłą nadzieję, że przynajmniej zajrzysz do paru książek o przetwarzaniu obrazów. Elvis proroku, miałeś rację, król bardzo szybko okazał się nagi.

I jeszcze tylko: skąd absurdalny wniosek o zachęcaniu tu do kupowania czegokolwiek? Przecież miał to być eksperyment myślowy, dyskusja dopiero się rozkręcała a tu taki cios...

[Elvis]

Może chodziło o książkę - jak zarobić kupę kasy? Ale jeszcze nie zacząłem pisać niestety.

[deshipu]

Tak przy okazji, jakby kogoś *rzeczywiście* interesowało jak to insekty (i inne zwierzęta) robią, to tu jest praca naukowa dość przystępnie opisująca jeden z mechanizmów (oczywiście natura jest sknera i zawsze wykorzystuje każdy organ do więcej niż jednej rzeczy): https://arxiv.org/abs/1510.07573

Niestety, jak widać, nagrody nobla z tego nie będzie, bo ten "nieznany nauce" fenomen jest dość dobrze zbadany. A czemu nie używa się tego w robotach? No cóż, powód jest dość prosty. Otóż założenie kolegi, że owady doskonale omijają przeszkody jest błędne, o czym może się przekonać każdy, kto poświęcił choć 10 minut swojego czasu obserwując ze swojego fotela latającą po pokoju muchę.