Učionica
VREDNOVANJE INTERNIH ZNANSTVENOISTRAŽIVAČKIH I UMJETNIČKIH PROJEKATA NA SVEUČILIŠTU JOSIPA JURJA STROSSMAYERA U OSIJEKU

U recenzentskom postupku sudjeluje veliki broj istraživača sa Sveučilišta u Osijeku
Objavljeno 10. veljače, 2017.

V eć četvrtu godinu zaredom Sveučilište Josipa Jurja Strossmayera u Osijeku raspisuje interni natječaj za prijavu znanstvenoistraživačkih i umjetničkih projekata te u tu svrhu svake godine osigura se oko jedan milijun kuna iz Poslovnog fonda Sveučilišta.

U prošlom, 21. broju Sveučilišnog glasnika pisali smo o svrsi i cilju koji se na taj način želi postići, a u ovom broju pisat ćemo detaljnije o principu vrednovanja i načinu određivanja rang-liste pozitivno ocijenjenih projekata.

Odmah treba reći da se posebno vrednuju i rangiraju projekti iz STEM područja, a posebno projekti iz DH+UMJ područja. Za STEM područje obično se namjenjuje oko 60 %, a za DH+UMJ područje oko 40 % raspoloživih financijskih sredstava. Broj prijavljenih projekata varira od godine do godine ovisno o ciljnoj skupini istraživača na Sveučilištu u Osijeku. Tako je, primjerice, 2014. na program IZIP-2014 za mlade istraživače bilo prijavljeno 167 projekata, a pozitivno je ocijenjen 101 projekt u STEM području i 47 projekata u DH+UMJ području. Sljedeće godine na program Gost istraživač INGI-2015 bilo je prijavljeno samo 40 projekata. Prošle godine na program IZIP-2016 uz najširi obuhvat istraživača prijavljena su 134 projekta koja su prošla administrativnu provjeru (89 u STEM području i 45 u DH+UMJ području). Ako se zna da je maksimalni iznos koji se pojedinom projektu ove godine može dodijeliti 70.000 kuna, jasno je da recenzentski postupak i način određivanja rang-liste projekata mora biti potpuno transparentan, jasan i motivirajući.

Recenzentski postupak

Recenzentski postupak definiran je na sljedeći način: Svaki projekt ocijenit će bar jedan anonimni recenzent iz polja istraživanja (Recenzent#1) i bar jedan anonimni recenzent iz drugog, ali srodnog polja vezanog uz prijedlog projekta (Recenzent#2). Jasno nam je da to otvara i pitanje mogućeg sukoba interesa. Međutim, vodeći se željom da prijedlozi projekata budu stručno recenzirani te činjenicom da je riječ o internom natječaju našeg Sveučilišta, računamo na dobronamjeran i konstruktivni pristup iskusnijih znanstvenika, koji će raditi za opću dobrobit Sveučilišta u Osijeku. Na taj način očekujemo dobiti relevantnu ocjenu predloženog istraživanja koja će se bazirati na mišljenjima nastavnika Sveučilišta u Osijeku.

Recenzije se pišu na posebnom obrascu za recenzente u kojem se ocjenama od 1 do 5 vrednuju projekti na temelju šest kriterija: kvaliteta i važnost istraživačkog prijedloga, kvaliteta predlagatelja, kvaliteta gosta istraživača (ako postoji), studija izvodljivosti te financijski plan i način uključivanja studenata. Svakom kriteriju pridružen je ponder, a suma pondera jednaka je 1. Ponderi su određeni analitičkim hijerarhijskim procesom i nisu unaprijed poznati recenzentima. Ako se dobivene recenzije bitno razlikuju, zatražit će se nova recenzija ili će se provesti usuglašavanje recenzenata. Na kraju recenzentskog postupka svaki predlagatelj dobit će recenzije svog projekta.

Kao stručna potpora Povjerenstvu posebno su imenovani paneli od pet stručnjaka za STEM područje i pet stručnjaka za DH+UMJ područje iz redova nastavnika Sveučilišta u Osijeku.

Rang-lista projekata

Rang-lista projekata određuje se na sljedeći način: za svaki projekt definira se ponderirani prosjek ocjena prvog recenzenta R1 i ponderirani prosjek ocjena drugog recenzenta R2. Na taj način svaki je projekt u ravnini identificiran jednom točkom (R1, R2). Nadalje, s A>(5,5) označena je točku u ravnini kojom se identificira tzv. perfektno ocijenjeni projekt (Slika 1). Reći ćemo da je projekt P1 bolje rangiran od projekta P2 ako je točka koja u ravnini reprezentira projekt P1 bliža točki A. Pri tome udaljenost točaka koje reprezentiraju projekta do točke A može se definirati kao tzv. Manhattan udaljenost (Slika 1), kao obična euklidska udaljenost (Slika 2) ili kao Čebiševljeva udaljenost (Slika 3). U literaturi - Greco, S.; Ehrgott, M. & Figueira, J. R. (Eds.), Multiple Criteria Decision Analysis. State of the Art Surveys, Springer, 2016 - ima i puno drugih mogućnosti koje možemo pronaći pretražujući Decision Theory i Multi-objective Goal Programming.

U našem slučaju odlučili smo se za primjenu obične euklidske udaljenosti (Slika 2) jer na taj način preferiramo projekte koji su imali ujednačenije ocjene po kriterijima i recenzentima. U slučaju ako dva projekta dobiju isti rang, prednost se daje onome koji ima manju Čebiševljevu udaljenost od perfektno ocijenjenog projekta (Slika 4). Na taj način dodatno preferiramo projekte s ujednačenijim ocjenama.

Sukladno opsežnoj literaturi iz teorije odlučivanja može se primijetiti da bi proces rangiranja bio još realniji ako bismo odmah za svaki projekt ocijenjen na temelju 6 ranije spomenutih kriterija izračunavali njegovu euklidsku udaljenost do perfektno ocijenjenog projekta A>(5,5,5,5,5,5) u 6-dimenzionalnom prostoru.

Posebno naglašavamo da proces rangiranja projekata mora biti pažljivo definiran i proveden jer će samo 15 - 20 posto pozitivno ocijenjenih projekata biti financirano.

(Rudolf Scitovski)

Više detalja u radovima

Više detalja o načinu vrednovanja može se pronaći u radovima: Željko Turkalj, Damir Markulak, Slavica Singer, Rudolf Scitovski, Research project grouping and ranking by using adaptive Mahalanobis clustering, Croatian Operational Research Review 7(2016), 81-96, dostupno na adresi http://hrcak.srce.hr/index.php?show>clanak&id_clanak_jezik>231899 i Rudolf Scitovski, Mario Vinković, Kristian Sabo, Ana Kozić, Research project ranking dostupno na adresi: http://www.unios.hr/istrazivanje/interni-natjecaji/.

Možda ste propustili...