Naast de basiliek ligt het renaissancepaleis. Op de plaats waar nu het paleis staat, werd in 1101 het reeds genoemde benedictijnenklooster gebouwd. Na een brand vervingen een stenen klooster en bovengenoemde basiliek het houten complex.

Het klooster werd tijdens de hussietenoorlog verwoest. Rond 1600 gaf Willem van Pernštejn opdracht tot de bouw van het paleis. In 1628 ging het eigendom over op de familie Valdštejn. Zij hebben het paleis tot 1945 in bezit gehad. In dat jaar werd het gebouw geconfisqueerd door de staat en zijn de Valdštejns naar Oostenrijk gevlucht. Nu biedt het pand onderdak aan het West-Moravische Museum. (Západomoravsky Muzeum).

De trots van het museum is de verzameling handbeschilderde kerstkribben, het resultaat van de vrijetijdsbesteding van de lokale bevolking. De beeldjes van de meeste kerststalletjes zijn gemaakt van karton. Het mos is echt. Het behoudt zijn kleur omdat het geverfd is. Het maken van handbeschilderde, kartonnen kerstkribben is een traditie die zo’n 150 jaar teruggaat. De oudste dateert uit 1830-1840 en is gemaakt door initiatiefnemer Hartmann. Hij gebruikte een speciale verf op basis van waterverf. Daaraan voegde hij eigeel en rundergal toe. Door dit mengsel bleven de kleuren helder.

Verder zijn in het museum een zaal met fresco’s, een Chinese salon met mooie tapijten en diverse schilderijen te zien. Het langgerekte plein Karlova Námestí in het centrum van de stad wordt omgeven door laatgotische en renaissancistische patriciërshuizen. Hier staat ook het met sgraffito verfraaide Franciscushuis (Františkovsky dum).