Palmse mõisa on mainitud juba keskajal, mil Taani kuningas Valdemar II kinkis maa-alad tsistertslaste Tallinna Püha Mihkli nunnakloostri valdusse.
Praeguse härrastemaja rajamist alustas Gustav Christian von der Pahlen 1697. aastal Jakob Staël von Holsteini jooniste järgi. Selliseks, nagu praegu, on härrastemaja kujunenud läbi mitme etapi.
Sümmeetrilise põhiplaaniga kahekorruseline kivihoone sarnanes oma palladionistliku üldlahendusega väga nii Maardu kui ka Aa mõisa härrastemajaga.
Palmse on üks kõige põhjalikumalt restaureeritud mõisaansambleid Eestis. Põhjaliku tutvustuse leiad Wikipediast.