Haus Gräfgenstein findet 1254 seine erste urkundliche Erwähnung. Ein starker, viergeschossiger Wohnturm aus Bruchsteinmauerwerk bestimmt das Bild der nach wie vor bewirtschafteten Hofanlage.

Die kleine Burg war einst im Besitz der Ritter von Eggerscheidt, sie kontrollierten den Übergang am Angerbach und sollen zeitweilig Teile des Bergischen Amtes Angermund durch Raub unsicher gemacht haben.

Als Besitzer der mit umfangreichen Ländereien ausgestatteten Burg folgten ihnen die Herren von Landsberg, die Familie von Aschenberg und schließlich die Grafen von Spee (aus Haus Linnep).