Gradski muzej Senj nalazi se u palači obitelji Vukasović, koja je bila jedna od najuglednijih senjskih obitelji, poznatoj i kao «kuća Marije Terezije». Palača je građena u 14./15. st. i vrhunski je objekt profane arhitekture grada Senja.
Kroz svoju povijest palača je više puta dograđivana i pregrađivana tako da na njoj danas čitamo više elementa arhitektonskih stilova: gotiku, renesansu i barok.
Palača je stradala u Drugom svjetskom ratu. Radove na njezinoj obnovi kao i na uređenju i formiranju muzejskih zbirki započeo je 50-ih godina 20. st počasni konzervator dr. Vuk Krajač, a nastavio, također počasni konzervator grada Senja, prof. Ante Glavičić. Obnova je trajala do 1965. godine i uspješno je završena zahvaljujući nesebičnom zalaganju ove dvojice konzervatora.