Na jugoistočnom uglu glavnog tvrđavskog trga nalazi se izrazito velika barokna jednokatna zgrada vojne namjene, čije se pročelje proteže duž čak tri ulice. Glavno pročelje, okrenuto Ulici Franje Xavera Kuhača, simetrično je komponirano, a glavni mu je naglasak jednostavan barokni kameni portal kolnog ulaza nad kojim se ističe zaglavni kamen s uklesanom godinom 1779. Ista je godina uklesana i na kamenoj ploči smještenoj nad ulazom.

Najduže pročelje zgrade, u širini 23 prozorske osi, ili ukupno 46 prozora u prizemlju i prvom katu, proteže se uz Ulicu Ruđera Boškovića, dok se stražnje, također simetrično koncipirano pročelje s velikim kolnim ulazom, proteže uz Ulicu dr. Kamila Firingera. Ovaj stražnji portal s ranohistoricistički oblikovanim dvokrilnim drvenim vratnicama, u funkciji je gospodarskog ulaza u zgradu, dok je glavni u međuvremenu postao veža. Podrumske prostorije ne nalaze se ispod cijele zgrade. Pod zapadnim se krilom glavnog pročelja nalazi manji podrum s baroknim svodovima, a veći se podrumski prostor proteže pod stražnjim i dijelom bočnog pročelja. Svi prozorski otvori na zgradi, od podruma preko prizemlja do prvog kata, izvedeni su od kamena, kao i cijeli glavni ulaz te donji dio stražnjeg ulaza u zgradu. Sredinom dvorišta, dijeleći ga napola, nekoć su se protezale staje za konje i nadstrešnice za kočije.

Zgrada je služila kao Vojni inženjerijski ured, ali i za stanovanje visokih časnika, u kojemu su nastajali brojni planovi, izračuni i nacrti osječke tvrđave koji su se u obliku izvještajno-projektnih planova slali u Beč gdje se, uglavnom, i danas čuvaju u Kriegsarhivu. Dio se ove dragocjene građe čuva u brojnim arhivskim i muzejskim ustanovama od Državnog arhiva u Osijeku, Muzeja Slavonije, Hrvatskog državnog arhiva u Zagrebu, Nacionalne i sveučilišne knjižnice u Zagrebu te drugih baštinskih ustanova diljem Europe.

Prestankom vojne funkcije osječke tvrđave krajem 19. stoljeća, u vrijeme pripajanja Vojne krajine civilnoj Hrvatskoj i Slavoniji, opseg vojnog utjecaja postupno je slabio, a s vremenom je dio vojnih zgrada postupno mijenjao svoju funkciju. U razdoblju nakon završetka Drugog svjetskog rata u zgradi su djelovale socijalističke društveno-političke organizacije, među kojima je bio i SIZ za kulturu Općine Osijek. Uspostavom Republike Hrvatske u sklopu teritorijalnog preustroja dio bivše Općine Osijek ponovno je dobio svoju gradsku autonomiju. S obzirom na to da je u izvornoj zgradi Magistrata, od 1809. godine Slobodnog i kraljevskog grada Osijeka, od 1946. bio smješten Muzej Slavonije, koji je 1994., kao jedan od najstarijih i najvećih hrvatskih muzeja, dobio status nacionalnog muzeja, nova je gradska uprava za svoje djelovanje odabrala najbližu primjerenu zgradu u najstarijoj povijesnoj jezgri grada, a u kojoj se nalazi i danas. Nedostatak adekvatnog prostora u povijesti je, kao i dandanas, mučio sve ustanove, pa tako i one gradske uprave. Osijek je u razdoblju secesije imao u planu podizanje reprezentativne zgrade Gradske vijećnice i Gradskog kazališta, no izbijanje Prvog svjetskog rata iznenada je prekinulo realizaciju tih ideja koje se do danas nisu uspjele ostvariti.