Par Palmu māju tikusi dēvēta bijusī Alūksnes muižas oranžērija, kurā kādreiz audzētas palmas. Tā celta 18. gs. beigās un tajā baroka stils apvienojas ar klasicismu. Sākotnēji palmu mājai bija iestiklots jumts un stikla priekšsienas ar garā rindā iekārtotiem logiem. Centrālās daļas telpas grezno bagātīgs dekors klasicisma stilā. Apakšējā stāva zālei ir balkons.
20. gs. sākumā muižas īpašnieks izpārdevis oranžērijā esošos mākslas darbus un sānu spārnos ierīkojis dzīvokli kučierim. Stikla jumta vietā izbūvēts skārda jumta segums un uzceltas mūra sienas. 1933. gadā māja pārvērsta par eļļas spiestuvi, bet 1941. gadā šeit ierīkota koncentrācijas nometne. Vēlāk palmu mājā izvietots Alūksnes autobusu parks. Šobrīd palmu māja ir privātīpašums.