Zámok dal postaviť v druhej polovici 14. stor. uhorský kráľ Ľudovít I. z Anjou ako gotické lovecké sídlo ovplyvnené talianskou mestskou architektúrou šľachtických palácov. V 16. stor. bol renesančne prestavaný. Na prízemí je expozícia lapidária gotického umenia, na poschodí európskeho umenia 16. - 18. stor. zo zbierok Slovenskej národnej galérie. Medzi najpozoruhodnejšie patria diela P. P. Rubensa, P. Veroneseho, V. Hogartha a ďalších. Každoročne v lete sa tu usporadúvajú Zámocké hry zvolenské.