Ihre erste urkundliche Erwähnung erfährt die Burganlage am Fernstein im Jahr 1288. Die strategisch günstige Lage des Bauwerks im oberen Gurgltal an der ehemaligen Via Claudia Augusta - und somit an einer von Alters her genutzten Nord-Süd-Verbindung über die Alpen - wurde von den Machthabern des Mittelalters bald als gewinnbringendes Sperrwerk erkannt. In erster Linie jedoch diente sie als Grenzbollwerk gegen Norden.

Bereits 1312 wird eine Zollstätte erwähnt. Weitere An- und Umbauten wurden ab 1451 unter Herzog Sigmund "dem Münzreichen" getätigt. Zeitgleich mit den baulichen Maßnahmen an der Burg Fernstein entstand auch das auf der Insel im Fernsteinsee gelegene Schloss Sigmundsburg.

Noch bis zur Mitte des 16. Jahrhunderts wurde zu großen Teilen die vormalige Route aus der Römerzeit für den starken Säumer- und Wagenverkehr genutzt. Da dessen Steigung für schwere Fuhrwerke - speziell für die stetig wachsende Anzahl an Salzfuhren aus den nahen Salinen bei Hall - aber zu beschwerlich und teils auch zu gefährlich war, ging man ab 1543 daran die Straßentrasse neu anzulegen. Eine mächtige Steinbogenbrücke leitete die Fuhrwerke direkt an einen Tordurchlass, der sogenannten Klause.

Zusammen mit ihrem Gegenstück, der Klause bei Ehrenberg, bildete sie die Grundlage für das nachmalig Zwischentoren (zwischen den Toren) genannte Gebiet. Im Jahr 1780 wird Fernstein als Zollstelle aufgelassen, da diese auf die Anhöhe des Fernpass verlegt wird. Im weiteren Verlauf ist ein reger Besitzerwechsel für die teils desolate Anlage verzeichnet, später - ab 1960 - werden die im Mittelteil gelegenen Bauwerke zum heutigen Schlosshotel Fernsteinsee umgewandelt.