Gotickou pevnost Přemysla Otakara II. chránící důležitou obchodní stezku, získal sňatkem s královnou největší konkurent Přemyslovců, sličný Záviš z Falkenštejna. Proměnil Svojanov na skvělé sídlo, jež jej mělo reprezentovat v evropském měřítku. Když sem ale přivedl svůdnou sestru uherského krále, zapomněl v líbánkách na ostražitost a podlehl politickým intrikám. Spolu s nedalekou Poličkou hrad patřil k oporám královské moci v Čechcách a zažil i návštěvu císaře Karla IV. Po husitských válkách přešel do soukromých rukou a postupně ztrácel na významu. V 19. století sloužil už jen jako hospodářský dvůr. V roce 1910 se stal majetkem města Poličky, která jej spravuje dodnes. Z expozice např.: stálá výstava Jan Kutálek - Figurální keramika, sezonní výstava Keramických plastik Miloše Šedivého a Dagmar Fáberové Světci a klauni, výstava loutek pražského divadla Minor, aj. U objektu se nachází jediná gotická zahrada ve střední Evropě.