Den Namen trug die Familie Kaiser nicht wegen einer eventuellen adligen Herkunft, sondern weil ein früher Vorfahr ein „keiser“, also eine stolze oder angeberische Person war.

Die Geschichte dieses Hauses kann nur anhand einiger Indizien entschlüsselt werden, ist also mit einer gewissen Unsicherheit behaftet.

Ausgangspunkt ist die Angabe in der Kopfschatzliste von 1787; danach sind die Bewohner „Kaiser mit Frau, 1 Sohn [volljährig] und 1 Sohn und 1 Tochter unter 16 Jahren“. Diese Kombination trifft nur auf Joh. Henrich Stamm gnt. Kaiser zu. Seine Eltern waren Henrich Stamm und Cath. Kaiser. Nun ist vor 1787 in Holzhausen kein Hof mit dem Namen Stamm oder Kaiser bekannt. Verheiratet war Henrich Stamm mit Anna Cath. Ridder gnt. Hasselmann. Dieser Name lässt darauf schließen, dass einer ihrer Vorfahren namens Ridder in den Hof Hasselmann eingeheiratet hat. Und tatsächlich ist ein Bauer Hasselmann bereits seit 1556 in Holzhausen ansässig; er war Vollmeier mit über 64 Mg. Land; 1685 waren es immer noch 57 Mg. und 1 Mg. in Nieheim.

Am Ende des Dreißigjährigen Krieges, 1646, kaufte der Bauer Hasselmann zusammen mit Alhard Schötteler (Haus Nr. 20) im Auftrag des Gutsherrn von der Borch mehrere Pferde frei und brachte sie aus Warburg nach Holzhausen zurück, welche vorüberziehende Truppen zuvor gestohlen hatten.

Der letzte männliche Vertreter des Namens starb 1759, und so darf vermutet werden, dass die besagte Anna Cath. die Erbin des alten Hofes war, der durch ihre Heirat in den Besitz der Familie Stamm kam.

Als Anna Cath. Hasselmann 1813 starb, verzeichnete der Pfarrer – der damals im Rahmen der napoleonischen Herrschaft auch Standesbeamter war – ausnahmsweise auch ihren Wohnsitz: „im Unterdorf in Haus Nr. 10 genannt Kaiser“. Sie hatte keine männlichen Nachkommen (der einzige Sohn hatte wiederum nur eine Tochter), und so gelangte das Haus in den Besitz von Anton Engelke. Er war verheiratet mit Theresia Stamm aus Bredenborn, Tochter von Joh. Henrich Stamm und Elisabeth Hanneken. Leider konnte die Herkunft der Eltern nicht ermittelt werden, aber es ist sehr wahrscheinlich, dass es Verbindungen zu dem 1787 genannten Henrich Stamm und seiner Frau gibt; das würde den Übergang auf diesen Zweig der Stamms erklären.

Ein weiteres Indiz dafür, dass es sich bei Haus Nr. 10 um den alten Hof Hasselmann handelt, ist die Tatsache, dass dieser Name an keiner anderen Stelle in den Unterlagen mehr auftaucht. Allerdings war wohl der größte Teil des Hofes mittlerweile an andere Eigentümer gegangen. Von Joh. Henrich heißt es 1787 „dient auf dem adligen Hofe“, das Kirchenbuch nennt ihn einen „ Rinderhirt im Dienst des Freiherrn v .d. Borch“. Bis 1898 betrug die Größe des Anwesens nur noch 7 Mg.
Der genaue Standort des ehemaligen Gebäudes ist umstritten. Derzeit geht man davon aus, dass das Haus östlich des Bachlaufs gestanden hat (Tappenheck 12).

Der oben beschriebene Übergang auf Anton Engelke muss vor 1829 stattgefunden haben, denn dieser ist im Urkataster bereits als Eigentümer eingetragen.

Nach einem schweren Unwetter 1931 stand der Stall der Familie Engelke unter Wasser, und das Vieh musste in das höher gelegene Dorf gebracht werden.
Das Haus wurde Mitte des letzten Jahrhunderts abgerisssen und nicht wieder aufgebaut. Jospeh Engelke zog im Herbst 1934 nach Lütmarsen bei Höxter. Später entstand auf dem Areal ein neues Wohnhaus (Im Tappenheck 12).