Erstmals erwähnt wird der „Gollenfels“ als „Gülden-Fels, der da gelegen ist über dem Güldenloch“ in einem Vertrag vom 5. April 1191 zwischen dem Bistum Mainz und dem Kloster Ravengiersburg über Güter zu Dalberg. Diese auffällige Erhebung diente demnach als Orientierungspunkt, auch bei späteren Urkunden und Dokumenten. Diese Stelle diente strategisch „offenbar zur Deckung des Übergangs der Römerstraße“. 1614 wurde sie von spanischen Truppen zerstört und 1619 wieder aufgebaut. Dabei wurde die spätmittelalterliche Innenstruktur weitgehend bewahrt. Auf der Burganlage befindet sich ein Denkmal des Leutnant von Gauvain, der dort im Kampf gegen die Truppen Napoleons sein Leben ließ