Renesančný kaštieľ vznikol na mieste pôvodného gotického hradu v 16. stor. V roku 1601 daj vtedajší majiteľ Juraj Thurzo postaviť aj tzv. Sobášny palác v predhradí, kde organizoval svadobné hostiny svojich šiestich dcér. Dnes sú to výstavné priestory Považského múzea a v objekte kaštieľa sídli Štátny oblastný archív. V bytčianskom kaštieli slúžil začiatkom 18. stor. ako vojak legendárny slovenský zbojník Juraj Jánošík.