Het bouwwerk neemt drie terrassen van de rots in beslag en vormt daardoor drie verschillende verdedigingssystemen, die door bastions en borstweringen met elkaar verbonden zijn. De hoogste en middelste delen zijn het oudst (1270). In die tijd werd een fort met een grote defensietoren neergezet. In de zestiende eeuw werd het bouwwerk gerenoveerd, uitgebreid en vanwege het dreigende Turkse gevaar versterkt.

In 1800 werd het kasteel door een brand verwoest. Alleen de muren bleven staan. Bij de restauratie werd eerst geen aandacht aan de esthetische kant van de zaak besteed, maar vanaf 1895 werden kosten noch moeite gespaard om het gebouw een romantisch uiterlijk te geven. De bouwwerkzaamheden werden echter door de Eerste Wereldoorlog stilgelegd. Pas in 1953 werden de werkzaamheden hervat.

Het kasteel was lange tijd in het bezit van de Slowaakse adelijke familie Thurzo (zie Banská Bystrica). Zij hadden een zeer lucrative handel in koper. Een belangrijke handelsroute tussen Banská Bystrica, Polen en Duitsland liep langs Orava. Een van de Thurzo's, František, liet zijn oog op het kasteel vallen. Elke keer dat hij er langs kwam raakte hij er sterker van gecharmeerd. Hij besloot het te kopen na een ruzie met de kasteelvrouwe van Hricov. Hij sloot haar op in de kelder van haar eigen kasteel, waar ze niet lang daarna stierf. Hij had spijt van zijn daad en kon in zijn eigen kasteel in Bytca geen rust meer vinden. Vandaar dat hij verhuisde naar Orava. Maar dat hielp niets. Hij hield nachtmerries over het lot van de ongelukkige vrouw.

Zijn zoon Juraj had in eerste instantie meer geluk. Hij was ook vaak op Orava omdat hij er goed kon vissen en jagen. Op een dag stuurde hij tijdens de jacht een mand lekkere appels naar zijn vrouw. Ze smaakten haar zo goed dat zij hem appels van dezelfde boom stuurde, toen hij tegen de Turken vocht. Volgens de legende werd hij zo sterk na het eten van het fruit, dat hij de Turken volledig in de pan hakte. Na thuiskomst liet hij alle appels uit de streek plukken, om zo geluk en fortuin af te dwingen. Maar daarna droegen de bomen nooit meer vruchten en was het gedaan met zijn voorspoed.

In het kleine dorpsmuseum wordt een beeld gegeven van de geschiedenis van de regio Orava.