Garsenės neogotikinius dvaro rūmus 1856 – 1860 m. pastatydino baronas fon Budbergas, kurio giminė Garsenės istorijoje minima jau nuo 1583 m. Manoma, kad rūmai statyti Vokietijoje buvusios vilos pavyzdžiu. 1895 m. rūmai išplėsti – prie pagrindinio dviaukščio korpuso pristatytas žemesnis sparnas, nes baronui Leonardui, vedusiam pirmąją žmoną, iš Anglijos kilusią baronienę Gertrūdą Vorsą, rūmai tapo per ankšti. 1940 – 2015 m. rūmuose veikė Garsenės pradinė mokykla.

Baltų glazūruotų koklių krosnis mėlynais kobalto piešiniais yra išlikusi autentiška iš XIX a. ir yra laikoma dailės paminklu. Kokliai jūros ir vėjo malūnų motyvais  pagaminti Olandijoje, kiekvieno jų piešinys yra nepasikartojantis. 2016 m. krosnis buvo restauruota.

Garsenės rūmų pastate įsikūręs turizmo informacijos centras. Rūmai taip pat atviri lankymui – tiek individualiai, tiek grupėmis, tiek ir su  gidu. Elegantiškos buvusio dvaro patalpos nuomojamos įvairioms iškilmėms – vestuvėms, šeimos šventėms, sąskrydžiams, koncertams ir kt.