Program do rozpoznawania śladów traktora na ziemi w Pythonie

[AntekBezak]

Witam.

 

Od jakiegoś czasu próbuję napisać program który będzie rozpoznawał ślady traktora na ziemi. Próbowałem już z bibliotekami TensorFlow i PyTorch do sieci neuronowych, a teraz uczę się OpenCV, ale wszystkie próby zakończyły się klęską. Moim głównym celem jest zbudowanie układu który będzie obracał kierownicą w traktorze, ale chyba nie ma co się zabierać za hardware jak nie umiem nawet rozpoznać czy na ziemi w ogóle jest ślad. Oto zdjęcia których używam do testów:

                         Level 1                                                          Level 2                                                         Level 3

Przy okazji proszę o informację jak mogę podpisywać zdjęcia w lepszy sposób niż te powyżej.

Edytowano Grudzień 19, 2022 przez AntekBezak

[FlyingDutch]

Cześć,

jaki masz model sieci: typ sieci neuronowej, liczba warstw ich typ. Czy używasz jakiegoś wstępnie wytrenowanego modelu sieci, ucząc tylko kilka ostatnich warstw? . Jak duża jest twoja baza zdjęć śladów używana do trenowania sieci?

Czy znasz ten kurs:

https://deeplizard.com/learn/playlist/PLZbbT5o_s2xq7LwI2y8_QtvuXZedL6tQU

może on być bardzo przydatny do nauki "deep learning".

Pozdrawiam

[pmochocki]

Jako, że się nie znam, to się wypowiem. Wykrywaniem obiektów w obrazie zajmowałem się akademicko prawie 20 lat temu.
Ale za moich czasów nie wrzucało się takich obrazków na żywca, ale robiło się jakąś wstępna obróbkę przed klasyfikowaniem.
Gdybym teraz miał wykrywać ślady traktora, bym najpierw użył jakiegoś filtra wykrywającego krawędzie i takimi obrazami spróbował trenować.

Potem oczywiście musisz "on the fly" przetwarzać obraz z kamery...

 

Edytowano Grudzień 19, 2022 przez pmochocki

[AntekBezak]

Dnia 19.12.2022 o 07:04, FlyingDutch napisał:

jaki masz model sieci: typ sieci neuronowej, liczba warstw ich typ

Jeszcze nie mam żadnej sieci neuronowej ponieważ na potrzeby nauki starałem się zrobić taką do rozpoznawania kotów i psów, ale w pewnym momencie w kursie dotarłem do momentu gdzie trzeba było robić coś z kartami graficznymi, a moja nie należy do tych najlepszych, natomiast kiedy pominąłem ten fragment to komendy pokazywane w dalszej części kursu u mnie nie działały.

 

17 godzin temu, pmochocki napisał:

Gdybym teraz miał wykrywać ślady traktora, bym najpierw użył jakiegoś filtra wykrywającego krawędzie i takimi obrazami spróbował trenować.

Faktycznie, to mogłoby ułatwić wykrywanie. Robiłem coś takiego c OpenCV, ale nie pomyślałem żeby załadować to do sieci neuronowej.

 

Może ktoś zna gotowy szablon do takiej sieci który można łatwo spersonalizować?

Edytowano Grudzień 20, 2022 przez AntekBezak

[Treker (Damian Szymański)]

Wiem, że pytanie jest inne, ale linkuję, artykuł bo powiązany i może być jednak pomocny (przynajmniej jako inspiracja): https://forbot.pl/blog/praktyczny-wstep-do-ai-z-plytka-asus-tinker-edge-t-id44909

[FlyingDutch]

Ja używałem wytrenowanego wcześniej modelu sieci CNN do rozpoznawania i klasyfikacji obrazów, wyciąłem z niego trzy ostatnie warstwy, dodałem nowe i je trenowałem.

To jest tak zwane "Transfer Learning" i w przypadku wykrywania ludzi i fragmentów ich ciał zadziałało z rezultatem około 95.4 procent poprawnych detekcji. Niestety jest wymagana dość duża baza przykładów. Zobacz ten linki:

https://towardsdatascience.com/4-pre-trained-cnn-models-to-use-for-computer-vision-with-transfer-learning-885cb1b2dfc

https://data-science-blog.com/blog/2022/04/11/how-to-choose-the-best-pre-trained-model-for-your-convolutional-neural-network/

https://www.mathworks.com/help/deeplearning/ug/pretrained-convolutional-neural-networks.html

Ja używałem wstępnie wytrenowanego modelu "mobilenetv2". Do nauki modelu używałem framework'a Keras. w przypadku małej bazy przykładów jest wręcz zalecane powielenie ilość zdjęć poprzez różne przekształcenia (obroty, zmiany kolorów i jasności).

Naprawdę polecam przejść cały kurs, który wkleiłem w pierwszym poście, jest bardzo dobry.

BTW: do trenowania sieci neuronowej w Keras możesz użyć bezpłatnego konta "Google Colaboration" (ja tak zrobilłem),  tam jest wsparcie sprzętowe potężnych kart graficznych NVidii i modułów TPU.

Użycie pomocniczo "OpenCV" w programie do obróbki zdjęć przeważnie jest konieczne. W sieci są dostępne uniwersalne bazy zdjęć, może w nich znajdziesz coś co Cię interesuje - bazy są jednak bardzo duże (nawet 50 GB do pobrania).

Pozdrawiam

Edytowano Grudzień 20, 2022 przez FlyingDutch

[AntekBezak]

13 godzin temu, FlyingDutch napisał:

do trenowania sieci neuronowej w Keras możesz użyć bezpłatnego konta "Google Colaboration"

Dzięki! Próbowałem uczyć się Keras w Visual Studio Code, ale chyba zepsułem bibliotekę bo wszystkie komendy zaczynające się na "tensorfolw." powodowały błąd.

 

13 godzin temu, FlyingDutch napisał:

Naprawdę polecam przejść cały kurs, który wkleiłem w pierwszym poście, jest bardzo dobry

W wolnej chwili poświęcę na to trochę czasu, ale chodzi mi głównie o kurs w którym będzie pokazany kod, a po przejrzeniu tego kursu tam nic takiego nie ma (chyba że coś przeoczyłem).

[picon]

Mozę spróbuj fast.ai (korzysta z pytorch), ja w swoim prototypie z tego korzystałem. Można szybko uruchomić trenowanie, już na gotowych sieciach, tylko trzeba mieć dane wejściowe.

• tutoriale: https://docs.fast.ai/
• kurs: https://course.fast.ai/

[AntekBezak]

Wygląda ciekawie. Jak mogę to zainstalować? Bo próbowałem już na kilka różnych sposobów i mi się nie udało...

[picon]

Nie wiem na jakim działasz systemie, ja korzystam z Minta (Linux), fast.ai mam zainstalowane przez conda - https://conda.io/projects/conda/en/stable/user-guide/install/download.html

[AntekBezak]

Ja używam Windowsa (10). Nie da się tego zainstalować za pomocą pip?

[picon]

ze strony https://docs.fast.ai

To install with pip, use: pip install fastai. If you install with pip, you should install PyTorch first by following the PyTorch installation instructions.

[AntekBezak]

Zainstalowałem fastai i PyTorch, ale nie działa. Polecenie "import fastai" wyświetla następujący błąd:

Traceback (most recent call last):
  File "Ścierzka/do/pliku/fastai test.py", line 1, in <module>
    import fastai
ModuleNotFoundError: No module named 'fastai'

[ethanak]

Na pewni zaintalowałeś przez pip3 i używasz pythona 3?

[AntekBezak]

Użyłem pip, ale po przeprowadzeniu instalacji przez pip3 też nie działa (Python 3.10)