Ganz am Beginn des 13. Jahrhunderts erhielt Stefan von Medlov, ein Mann aus der nächsten Umgebung des mährischen Markgrafen Vladislav Jindrich und seines Bruders, des tschechischen Königs Premysl Otakar I. teils durch Schenkung und teils durch Tausch ein Gebiet am Oberlauf des Flusses Svratka. Kurz vor seinem Tod, etwa um das Jahr 1230, gründete Stefan in Doubravnik ein Nonnenkloster des Ordens St. Augustin, sein Sohn Vojtech wurde hier der erste Propst. Stefan’s Nachkommen, die als Wappentier einen Bisonkopf hatten, bauten auf ihrem Grundbesitz nicht weit voneinander einige massive Burgen. Dazu gehören Zubstein, Auersperk, Pysolec und Pernstejn, der zum Hauptsitz der Familie wurde. Außer Zubstein, dessen Anfänge etwas nebelhaft sind, gründen die anderen Burgen des Clans, der später in einige Zweige zerfiel, auf der gleichen Anordnung eines typischen Bergfrieds mit einem dominanten zylindrischen Turm, einem Palast und einer Rundum-Befestigung. Zur gleichen Zeit, als die Burg gebaut wurde, kam es zur Kolonisation der Bergwälder. Einige Kolonien erhielten ihre Namen nach den ersten Bürgern des Clans: Stepanov, Jimramov, Vojtechov.
Im 14. Jahrhundert verlor das Geschlecht der Herren von Pernstejn an Ansehen, Burg und Herrschaft teilten sich verschiedene andere Geschlechter. Ein herausragendes Mitglied des Geschlechts war Wilhelm I. von Pernstejn, der in etwa von 1380 bis 1430 lebte, genaue Daten sind nicht bekannt. Er war ein Gefolgsmann des Markgrafen Jost, der es geschickt und oft rücksichtslos verstand, verlorengegangene Gebiete zurückzugewinnen und mit neuen zu verbinden. Er unterstütze eine Räuberbande, die teilweise aus seiner eigenen Dienerschaft bestand und Anfang der 20er Jahre des 15. Jahrhunderts war er sogar als mährischer Landeshauptmann tätig.
Sein Sohn Jan von Pernstejn gehörte zu den prominenten Kriegern und Edelleuten der Hussiten. Seine Heirat mit Bohunka von Lomnice erlaubte ihm eine Ausweitung seines Besitzes. Sein Sohn Wilhelm II., der etwa von 1435 bis 1521 gelebt hat, war zweifelsohne die bedeutendste Persönlichkeit dieser Familie. Er war der Initiator aristokratischen Unternehmertums und auch ein gewiefter Politiker, der im Dienste von Mathias Korvin und später auch von Vladislav Jagelosky und dessen Sohn Ludwig einen jahrzehntelangen positiven Einfluss auf die böhmische und mährische Gesellschaft ausübte. Palacky betrachtete diesen religiös toleranten Mann als eine der bedeutendsten Persönlichkeiten der tschechischen Geschichte, vergleichbar mit Kaiser Karl IV. Wilhelm II. hinterließ seinen Erben einen großen Besitz. Außer Pernstejn gehörten auch Helfstejn, Prerov, Hranice, Kojetin, Tovacov, Kunstat, Zidlochovice, Pardubice und Potstejn dazu. Er mied Pernstejn und lebte wahlweise in Pardubice.
Im 15. Jahrhundert kam es zu umfangreicher Bautätigkeit auf der Burg, um den veränderten Möglichkeiten der Kriegsführung zu entsprechen. Der gotische Bergfried mit dem Eckturm, genannt Barborka, wurde errichtet, ebenso das Palastgebäude, auch ein prismaförmiger Turm entstand, der durch zwei Holzbrücken mit dem Palast verbunden war, ein weiteres Tor und insbesondere wurden die Befestigungen durch zylindrische Türme an allen vier Ecken verstärkt.
Schließlich wurden bei dieser spätgotischen Rekonstruktion auch Außenbefestigungen gebaut. Burg Pernstejn wurde zu einer grandiosen spätgotischen Festung, bei der an architektonischen Blickfängen mit lokalem Marmor aus Nedvedice nicht gespart wurde. In den folgenden Jahrhunderten wurde an der Burg wenig verändert, so dass sie heute noch ihr ursprüngliches, authentisches Aussehen hat.
Im 16. Jahrhundert kam es zum Niedergang der Herren von Pernstejn und das vorletzte Mitglied des Clans Jan war im Jahr 1596 gezwungen, die Burg mit Herrschaft wegen Schulden an Pavel Kataryn von Katar zu veräußern. Nach ihm gehörte die Burg seit 1604 dem kaiserlichen Oberst Adam Lev Licek von Ryzmburk, seine Witwe Ester Zejdlicová von Senfeld brachte sie im Jahr 1622 ihrem zweiten Ehegatten Krystof Pavel von Lichtenstein-Kastelkorn mit in die Ehe. Während der Zeit seines Besitzes der Burg, im Frühjahr 1645, widerstand die Burg unter der Führung des tapferen Hauptmanns Mikulas Fleischinger von Auersbach der Belagerung durch die Schweden und schaffte es, auch noch die von Schweden belagerte Stadt Brünn mit Munition zu versorgen.
Nach den Lichtensteins besaßen die Stockhammers die Burg (von 1710 bis 1793), danach die Schröffels von Mansbeck und seit 1818 die Mitrovskis von Nemysl. Nach 1945 kam die Burg in den Besitz des Tschechoslowakischen Staates. Sie wird von Denkmalschutzamt (Pamatkový ústav) in Brünn verwaltet.
Pernstejn wird oft auch die "Perle der mährischen Schlossarchitektur" genannt und repräsentiert ein einmaliges Beispiel einer spätgotischen befestigten Residenz. Außer dem Befestigungssystem ist die Eingangshalle mit einer diamantförmigen Wölbung bemerkenswert, auch die geräumige Ritterhalle, die Küche und der enge Durchgang in den Palast, die Barockkapelle mit Gemälden von F. I. Eckenstein und das Relief eines Mannes mit einem Bison am prismaförmigen Turm – eine plastische Erinnerung an Pernstejn’s heraldische Legende, nach der der Bergmann Vojtech den Bison erlegte und von seinem Herrn dieses Wappen und auch eine Herrschaft bekam. Auch eine Bibliothek ist im Schloss erhalten, die über 6188 Titel verfügt, weiter ein Sammlung von Gravierungen, ein Waffenarsenal mit Waffen aus der Zeit, als das Schloss eine Festung war (seit den 80er Jahren des 17. Jahrhunderts), weiter Beutestücke aus den Kriegen mit den Osmanen und persönliche Waffen der letzten adligen Eigentümer – der Mitrovskis.

Eintritt:
Erwachsene: CZK 40,-
Kinder: CZK 5,-
Studenten: CZK 20,-