Ein hoch über Bad Driburg gelegener Bergsporn wurde schon früh als sicherer Zufluchtsort durch die lokale Bevölkerung genutzt. Bereits die Sachsen sollen hier eine Fliehburg errichtet haben, die auf der steilen Südost-Seite keiner weiteren Befestigung bedurfte, ansonsten aber durch einen Stein-Erd-Doppelwall geschützt war. In karolingischer Zeit wurden den Wällen dann Steinmauern aufgesetzt. Die Burg wurde in den Sachsenkriegen durch Karl den Großen zerstört und danach nicht wieder aufgebaut. Stattdessen ließ er dort eine Petruskirche errichten und schenkte die Burg der Paderborner Kirche. Umstritten ist, ob die Iburg ehemals Standort eines sächsischen Heiligtums war.

Von 1134 bis 1142 siedelten hier kurzfristig Benediktinerinnen, die den Ort aber alsbald „wegen der ungünstigen Lage, wegen der Unfruchtbarkeit des umliegenden Erdreiches und wegen der Unwirtlichkeit der Wälder“ wieder verließen. 1189 ließ Bischof Bernhard II. von Paderborn erneut eine Burg errichten, die 1444 durch Otto von Braunschweig zerstört und nicht wieder aufgebaut wurde.

Der Name Iburg soll sich übrigens von der Eibe ableiten und bedeutete somit Eibenburg. Dafür spricht eine mitten in der Ruine wachsende Eibe. Übrigens handelt es sich bei der Eibe und dem Wacholder um die einzigen Nadelbäume, die in den Wäldern zwischen Egge und Weser wirklich heimisch sind!