Die Burg wurde vermutlich in der 2. Hälfte des 12. Jahrhunderts auf dem Höhenzug des Georgenbergs erbaut - möglicherweise ist sie aber noch älter, etwa Ende des 11. Jahrhunderts. 1125 wird Heinrich von Mindelburg als Besitzer urkundlich erwähnt. 1305 wurde die frühe Mindelburg offenbar zerstört und in Folge 1363 an Herzog Friedrich von Teck verkauft und von diesem wieder aufgebaut.

1467 treten die Herren von Frundsberg - Mitglieder des alten Tiroler Adelsgeschlechts 'Freundsberg' - die Herrschaft an, wobei Georg von Frundsberg als 'Vater der Landsknechte' als bekanntester Vertreter der Familie augenscheinlich wird. Er kämpft an der Seite des Kaisers Maximilian I. und später Karl V. in Oberitalien.

1646 kommt es durch die Schweden abermals zur Zerstörung der Burg. Wohl notdürftig instand gesetzt, erfolgen mehrere Besitzwechsel, bis schließlich der Münchner Architekt Ludwig Schramm die Burg 1878 erwirbt und - ähnlich dem Schloß Neuschwanstein - burgenromantisch überformt.