Kastellaanimaja koos kahe kõrvalasuva hoonega kuulub Kadrioru lossi ajaloolisse ansamblisse. Kahekordne puust hoone ehitati kastellaani (lossivaht ja pargi ülevaataja) elamuks aastail 1833 – 1850. Neobarokkstiilis maja klaasitud veranda ja trepikoda on põhiosale lisatud hiljem. Muus osas on hoone säilinud algse ilmega.
Eesti Vabariik otsustas kinkida kirjanik ja diplomaat Eduard Vildele (1865 – 1933) tema 60. sünnipäevaks maja koos rohu- ja aiamaaga. Pärast pikki otsinguid leiti 1927. aastal hoopis sobiv 6-toaline korter riigile kuuluvas kastellaanimajas. Vildede sisse kolimise ajal oli maja fassaad praeguse roosa asemel hoopis tumepruun. Samuti olid siis maja ees suured puud ja ka puuaiaga ümbritsetud väike lilleaed.
Haridusministeeriumi kulul teostati kapitaalremont ja korter sisustati A. M. Lutheri vabriku mööbliga. Veel sama aasta novembris kolis kirjanik koos naise ja ämmaga uude koju.
Pärast Vilde surma elas samas korteris parkidevalitsejaks hakanud Peeter Päts (Konstantin Pätsi vend).
Majas on säilinud mitmed 19. sajandist pärit siseuksed ja kahhelahjud, samuti väärivad tähelepanu korteri valgustid, ajastutruud tapeedid ja tekstiilid.
Vilde korteris avati muuseum 29. augustil 1946.a.
