Erbaut wurde die ehemalige Höhenburg um 1100 als Stammsitz eines der mächtigsten Geschlechter im Allgäu - der Herren von Rettenberg. Ursprünglich welfische Dienstleute, schlossen sie sich 1185 den Staufern an. Im 12. Jahrhundert zweigten sich überdies die Herren von Trauchburg und Hohenegg von den Rettenbergern ab. Mitte des 14. Jahrhunderts erlosch die Linie des Hauptstammes der Rettenberger und die auf dem Gipfelkamm des Rottachbergs thronende Spornburg Rettenberg wurde an das Hochstift Augsburg verkauft. 1525 wird das Herrschaftsgebiet, als auch die Burg Rettenberg in den Deutschen Bauernkrieg hineingezogen.

Für 1534 ist die Restaurierung der im Kern aus einem wuchtigen Wohnturm bestehenden Burg überliefert, aber schon 1562 brannte das Turmhaus vollständig aus und wurde in Folge auch nicht wieder instand gesetzt. Auch die Anbauten und die Vorburg scheinen bei dem Brandereignis stark in Mitleidenschaft gezogen worden zu sein. Schon zum Ende des 18. Jahrhunderts wird die einstige Burg in den Chroniken als Ruine genannt.

Die Besiedlung des Tannheimer Tals begann vermutlich unter rettenbergischer Weisung und auch im oberen Lechtal dürften sie die ersten Grundherrn gewesen sein. Deren verstreut gelegener Besitz ist für Elbigenalp urkundlich gesichert belegt, wird aber auch für den Bereich Holzgau angenommen.