Původně středověký vodní hrad (první zmínka z roku 1175) a později zámek byl postupně ve vlastnictví významných šlechtických rodů Svaté říše římské – hrabat z Raabsu, pánů z Landštejna, Habsburků, Lucemburků, Krajířů z Krajku, původem z Korutan, Lobkowiczů i dalších.
Na počátku 17. století byl zámek Radslavem Kinským přestavěn ve stylu pozdní renesance. Za Slavatů z Chlumu a Košumberka koncem 17. století byl barokně upraven. Jeho stavební úpravy probíhaly v důsledku požárů města i samotného zámku. Na přelomu 17. a 18. století zámek přechází do vlastnictví rodu Fünfkirchenů a v 19. století do vlastnictví rodu Hochbergů z Hennersdorfu.
V 50. letech 20. století byl zámecký areál znárodněn a byla v něm umístěna traktorová stanice JZD a později sklady textilu. Od 90. let je zámek opět v soukromém vlastnictví.