Robot [ramię] z analizą obiektów

[eunectees]

Cześć, 

Chciałbym zrobić robota, który na podstawie analizy obrazu otrzymanego z kamery podniesie ze stołu tylko niebieskie M&M'sy i wrzuci do pojemniczka. 
O ile znalazłem ciekawe biblioteki do analizy obrazu, to mam problem jak się zabrać za obsługę ramienia, (ramię z uwagi na większą funkcjonalność będzie zginać się w kliku miejscach) obraz jest w 2D i na podstawie analizy jestem w stanie stwierdzić, że mam przed sobą szukany obiekt koloru niebieskiego, jednak czy są jakieś sposoby na obliczenie ruchów, które musi wykonać ramie, żeby podnieść dany element? 

Czy ktoś robił coś podobnego lub ma jakieś pomysły, czego powinienem szukać? 

[ps19]

Kinematyka prosta i odwrotna te pojęcia powinieneś szukać

[FlyingDutch]

Cześć,

poczytaj o SLAM - tutaj kilka linków:

https://ucgosu.pl/2018/03/slam-simultaneous-localisation-and-mapping/

https://edu4industry.com/co-to-jest-slam/

http://ijes.pwr.wroc.pl/Vol-VII/No-1/VII-p28-37_Fieden.pdf

Pozdrawiam