Njemačka tvrtka Neura Robotics predstavila je Neuron AI, multimodalni temeljni model za fizičku umjetnu inteligenciju. Kako javlja Robotics & Automation News, model povezuje trodimenzionalni vid, dodir, zvuk, stanje robota i jezik s memorijom, pa robot može djelovati na temelju informacija koje kamere same ne mogu uhvatiti, a pritom zadržati kontekst kad predmeti nestanu iz vidnog polja.
Arhitektura se zove Perception-Language-Action. Ona povezuje ono što robot vidi, čuje i osjeća s onim što je već učinio i pretvara višesenzorne podatke u fizičku radnju. Osnivač i direktor tvrtke David Reger rekao je da inteligentni robot treba mozak koji povezuje osjetila i pamti što se dogodilo.
Zašto kamera nije dovoljna
Kamere bilježe geometriju, boju i položaj, ali ne daju nikakvu informaciju o dodiru, sili ili zvuku. Ljudi se ne oslanjaju samo na vid, nego osjete je li se vijak uhvatio i čuju kad konektor sjedne na mjesto. Neuron AI preuzima isto načelo. Umjesto da svaki senzor tretira zasebno, model kodira vid, taktilne podatke i podatke o sili, zvuk, stanje robota i jezik te ih usklađuje u zajedničkom prostoru tijekom vremena.
Višesenzorna percepcija najvažnija je ondje gdje kamere ne rješavaju problem. Kad robot otvara bravu, samo zvuk i dodir potvrđuju da je doista otključana, a dodirom može uhvatiti i predmet koji ne vidi. Kod zavarivanja se kvaliteta šava može procijeniti iz zvuka procesa.
Memorija za uzrok i posljedicu
Model ima i funkciju pamćenja. Da bi djelovao u fizičkom svijetu, robot mora imati osjećaj za uzrok i posljedicu te za postojanost predmeta, odnosno sposobnost da zapamti predmet koji više ne vidi, što ljudi stječu u prve dvije godine života. Za razliku od čisto digitalne umjetne inteligencije, robot djeluje u kontinuiranom fizičkom svijetu i mora pratiti predmete i posljedice vlastitih radnji kroz vrijeme.
Neuron AI trenira se na tri izvora podataka. Prvi su stvarni podaci robota koji u Neurinim pogonima za treniranje, zvanima Neura Gyms, izvode zadatke i bilježe sinkronizirani vid, dodir, silu, zvuk i pokret. Drugi su simulacijom umnoženi podaci, a treći ljudske demonstracije, za koje ljudi nose odijela sa senzorima. Zajedno čine temelj za pet različitih Neurinih robota s različitim hvataljkama i rukama.
Od učenja do flote
Platforma Neuraverse služi za uvođenje i ažuriranje sposobnosti na cijeloj floti robota, a kupcima daje alate za podešavanje modela prema vlastitim zadacima. Središnja mjera napretka je takozvani Time-to-Skill, odnosno koliko brzo robot nauči novi zadatak i pouzdano ga izvodi. Neuron AI razvijen je i treniran u Metzingenu u Njemačkoj, a podatkovna partnerstva s industrijskim tvrtkama poput Schaefflera i Boscha nadopunjuju trening.
Prvu javnu provjeru model će dobiti na konferenciji Nvidia GTC Berlin od 20. do 22. listopada. Humanoid 4NE1 izvest će jedanaestominutni slijed rukovanja rubljem, od razvrstavanja i punjenja perilice do vađenja rublja i prebacivanja u sušilicu, bez ljudske pomoći. Izazov nije u pojedinom pokretu, nego u tome da robot kroz cijeli slijed nosi kontekst i prelazi s koraka na korak.
Fotografija: Neura Robotics