Um etwa 1275 von einem bisher unbekannten Rittergeschlecht erbaut, tritt die Burg Schöneberg 1400 erstmals urkundlich in Erscheinung. Fünf Jahre später gelangt sie durch Verkauf durch Walter von Königsegg an den Fürstabt des Stiftes Kempten Friedrich von Laubenberg. Bereits um 1750 scheint die Burg jedoch schon wieder verfallen zu sein.

Im Wesentlichen bestand die Burg aus einem mehrgeschossigen Wohnturm, teils aus gebuckelten Nagelfluhquadern gefügt. Als Sockel diente ein weitgehend überschütteter Fels eines Findlings aus Nagelfluh, wie sie im nahen Kemptner Wald recht häufig zu finden sind. Im Norden des Turms waren weitere Bauten angefügt und sämtlich von einem Ringgraben umgeben.

Im nahen Umfeld befindet sich zudem die sogenannte 'Hildegardis Eiche'. Der Legende nach wurde die Gattin Kaiser Karls dortselbst durch einen Ritter aus den Händen gedungener Mörder gerettet und in Sicherheit gebracht.