
MATHOS-ova tvrtka izradila humanoidnog virtualnog asistenta: Od jeseni s djecom u Centru za autizam
Nudimo digitalnog čovjeka koji je spreman s djecom komunicirati o temama koje su joj simpatične i drage, a pod nadzorom stručnjaka, kaže prof. Matijević
Prije otprilike godinu i pol dana u "Glasu" smo pisali o tehnološkoj spin-off tvrtki Meet Intelligent Innovations, koju je polovinom 2023. godine pokrenuo Fakultet primijenjene virtualnog asistenta matematike i informatike Sveučilišta Josipa Jurja Strossmayera, s ciljem podrške svojim mladim znanstvenicima, ali i radi povećanja atraktivnosti fakulteta među srednjoškolcima.
Tehnološki izazov
O motivima i detaljima koji stoje iza te priče razgovarali smo s izv. prof. dr. sc. Domagojem Matijevićem, prodekanom za nastavu i studente, koji je ujedno i direktor tvrtke, a njezini su suvlasnici Fakultet primijenjene matematike i informatike, njegovi zaposlenici involvirani u rad tvrtke i jedan partner iz gospodarstva.
Matijević nam je tada otkrio kako je Meet Intelligent Innovations pozicionirana kao specijalist u području umjetne inteligencije, vrlo brzo nakon osnutka, kroz EU fondove, privukla i prvu investiciju u iznosu od 200.000 eura, za izradu specifičnog rješenja ARDena - inovativnog digitalnog čovjeka temeljenog na naprednim tehnologijama računalnog vida, obrade prirodnog jezika i proširene stvarnosti. Projekt se provodi uz potporu Nacionalnog plana oporavka i otpornosti (NPOO), s ciljem razvoja pretkomercijalne tehnologije koja omogućava ljudima da komuniciraju sa strojem kao s bilo kojim drugim čovjekom.
“Riječ je o implementaciji digitalnog čovjeka u digitalnoj, proširenoj ili virtualnoj stvarnosti. Koji su izazovi u ovakvoj implementaciji digitalnog čovjeka? Sva ona rješenja koja možete vidjeti u smislu digitalnog čovjeka koji govori i gestikulira u nekom filmu, crtiću ili računalnoj igri najčešće su preskriptana, tj. predefinirane su rečenice ili tekst, kao i gestikulacije i emocije. Izazov je implementirati tehnološko rješenje digitalnog čovjeka u okruženje gdje imate komunikaciju s njim preko svakodnevnog prirodnog jezika, ali ta komunikacija, te posljedično i njegovi pokreti i emocije, nisu unaprijed definirani. Tu zapravo dolazi do velikog tehnološkog izazova kako to implementirati na produkcijskoj razini na način da su emocije i pokreti digitalnog čovjeka prirodni i odgovaraju nama ljudima. Postoji nekoliko tvrtki u svijetu koje su krenule u tom smjeru, a među njima je i Meet Intelligent Innovations", rekao je prof. Matijević.
Pod nadzorom edukatora
U međuvremenu je cijela stvar znatno napredovala te je danas ARDena u fazi testiranja u stvarnom okruženju. Naime, na Mathosu je početkom ovog mjeseca organiziran susret ekipe iz Meet Intelligent Innovationsa s predstavnicima Centra za autizam Osijek – ravnateljem Vladimirom Bjelobrkom, edukacijskom rehabilitatoricom Marijom Komjetan i socijalnom pedagoginjom Karolinom Burek Bilokapić, te njihovim učenikom Emanuelom. Najavljeno je da će se od jeseni 2025. ARDena početi testirati u Centru za autizam, gdje će se pratiti njezina učinkovitost i mogućnosti primjene u edukacijsko-terapijskom radu.
Iako do konačnog rješenja koje bi zadovoljilo i tvrtku i krajnje korisnike, kako nam je napomenuto prof. Matijević, ima još posla, ARDena je prilikom ovog susreta na Mathosu, u obliku digitalnog interaktivnog displeja, kroz govornu i emocionalno osjetljivu interakciju pokazala mogućnosti olakšavanja komunikacije i stvaranja povjerenja kod djece s teškoćama u razvoju.
“ARDenu smo zamislili kao asistivnu tehnologiju te od početka pokušavamo pronaći prostor gdje bi se ona kao proizvod mogla primijeniti, kao što je rad s djecom s teškoćama u razvoju. To nam je bilo vrlo interesantno, stoga smo stupili u kontakt s ravnateljem Centra za autizam u Osijeku, Vladimirom Bjelobrkom, koji je odmah izrazio spremnost na suradnju. Nakon što smo se upoznali na koji način u Centru rade s djecom na predškolskoj i školskoj razini, a sve kako bismo bolje razumjeli njihove procese, predstavili smo im našu tehnologiju, koja im se činila vrlo zanimljivom. Budući da ARDenu još razvijamo, trebalo nam je još vremena da neke stvari završimo, te smo prije otprilike dva tjedna bili spremni pokazati im što imamo, nakon što smo prethodno testirali ARDenu na hodnicima našeg fakulteta", rekao nam je prof. Matijević.
Dodaje kao je učenik Emanuel dobro reagirao na ARDenu, no uočene su određene manjkavosti na kojima će se još morati poraditi, te je pao dogovor da s početkom jeseni, kada krene nova školska godina, ARDenu prenesu u Centar, gdje će biti testirana pod nadzorom njegovih edukatora.
“Ideja je da ARDena bude prijatelj djeci, no kako se ona dosta razlikuju, nije realno očekivati da će imati jednako korisnu primjenu kod sve djece. Za onu djecu koja su dosta verbalna, ovo će biti dobra tehnologija. Ona imaju određene teme o kojima mogu beskonačno govoriti i zainteresirana su samo za te teme, a mi bismo im ovakvom tehnologijom dali prijatelja s kojim bi komunicirala i razvila nekakav odnos. Mi, dakle, nudimo digitalnog čovjeka koji je spreman s djecom komunicirati o temama koje su joj simpatične i drage, a pod nadzorom stručnjaka iz Centra", pojašnjava Matijević.
Dodaje kako bi to bila tek prva faza razvoja ARDene, a kroz drugu bi pokušali implementirati različite vrste vježbi.
“Kada se dijete jednom veže uz tehnologiju, otvara se prostor da kroz nju implementiramo različite vrste vježbi koje s njima u Centru i inače rade edukacijski rehabilitatori, s obzirom na to da je riječ o interaktivnom ekranu s digitalnim čovjekom, gdje dijete može prstima odabirati različite stvari, davati povratne informacije, sudjelovati u igrama, rješavati problemske zadacima i sl.", zaključio je Matijević.
Virtualna pomoćnica
Ravnatelj Centra za autizam Vladimir Bjelobrk ističe kako je prezentacija ARDene na Mathosu bila pozitivno iskustvo i za učenika Emanuela i za stručnjake iz Centra, koji na nju gledaju kao na asistivnu tehnologiju u edukacijsko-rehabilitacijskoj djelatnosti, odnosno školovanju djece s teškoćama u razvoju, gdje se edukacijsko-rehabilitacijska struka i eksperti s fakulteta kao što je Mathos susreću te zajedničkim snagama razvijaju nove platforme i oblike tehnologija koje su se pokazale učinkovitima u radu s djecom.
“Prepoznali smo vrijednost ovog projekta te smo se odmah rado uključili kao partneri. Nakon inicijalnih sastanaka i radnih tijela, prije dva tjedna, prvi smo put s našim učenikom posjetili Mathos kako bismo vidjeli kako će ragirati na ARDenu i to je bilo pozitivno iskustvo. Još govorimo o pilot-projektu, radnoj verziji koja će se nadograđivati. Od jeseni ju planiramo testirati u školskom kontekstu, no već sada postoje naznake da bi ARDena mogla biti učinkovita u našem radu. Pogotovo kod djece koja imaju dvostruke odgojno-obrazovne potrebe, poput nekih naših učenika koji u jednom području imaju teškoću, no u drugom su izrazito dominantni. To može biti glazba, likovnost ili neki drugi specifični interesi... Imamo, primjerice, djecu koja su sluhisti, koja imaju apsolutni sluh, a s druge strane teškoću pri obavljanju svakodnevnih vještina. Jedna je od karakteristika djece s poremećajem iz spektra autizma deficit u socijalnoj interakciji, dok su im, kao i svoj drugoj djeci danas, digitalni sadržaji vrlo interesantni. Tu ćemo rupu pokušati prevladati ARDenom, na način da ona kroz interakciju, pamteći karakteristike djeteta, njegove interese i potrebe, bude neka vrsta virtualnog pomoćnika u nastavi ili doma", rekao je Bjelobrk te dodao kako im je suradnja na razvoju ARDene zanimljiva i zbog činjenice da osječki Centar za autizam ima najsuvremeniju praksu u regiji te je odlično prostorno-materijalno opremljeni i bogat asistivnom tehnologijom, pa bi u tom smislu ovo mogao biti početak ustrojavanja kabineta za asistivnu tehnologiju u suradnji sa stručnjacima iz tvrtke Meet Intelligent Innovations.