Dieses Haus hatte im 18. Jahrhundert noch die Nummer 38; im Grundkataster von 1829 ist als Eigentümer Heinrich Lips angegeben.

Ein „Lippes“ wird schon 1556 in der Liste der Holzhauser Bauern aufgeführt. Der Hof Lippes war bis 1685 einer der großen Bauernhöfe (Vollmeier). Kurz vor Schluss des Dreißigjährigen Krieges, 1646, wurden Cord Lips 4 Ochsen gestohlen; der Gutsherr von der Borch kaufte sie für 4 Dukaten wieder frei.

1775 starb der letzte männliche Träger des Namens, Joh. Henrich Lips. Die beiden letzten Personen mit Namen Lips waren Gertrud (1781-91) verheiratet mit Joh. Henrich Eckert, und Maria (1714-96), verheiratet mit Joh. Hermann Stamm. Beide hatten aber keinen Nachkommen namens Heinrich, der 1829 als Eigentümer für das Haus genannt wird, und es hat auch keiner mit diesem Namen eingeheiratet, so dass keiner der aus den Kirchenbüchern bekannten Holzhauser Einwohnern diesem Haus zugeordnet werden kann.

Die Hausnummer 38 ging im Laufe des 19. Jahrhunderts auf das Gut Holzhausen über, sowohl auf das Schloss als auch auf die Gebäude auf dem Gutsgelände; das alte Haus Nr. 38 stand zunächst leer.

Als 1857 in Holzhausen ein neuer Lehrer gesucht wurde, sollte Friedrich Hille aus Erkeln bei Brakel die Stelle erhalten. Seine Versetzung von Erwitzen nach Holzhausen war bereits von der Königlichen Regierung zu Minden und vom Generalvikariat zu Paderborn genehmigt, aber Hille resignierte, ehe er die Stelle angetreten hatte. Er blieb zunächst in Erwitzen, ließ sich dann nach Nörde im Kreise Warburg versetzen, resignierte auch dort und wurde schließlich 1860 Rentmeister beim Freiherrn von der Borch (zum Renteigebäude Nr. 38).

Der Freiherr kaufte um 1859 das alte Haus und sanierte es. Es war ein stattliches Fachwerkhaus mit einem langen Kamin an der Außenfront. Unter dem Haus befand sich ein Gewölbekeller.

Ein Jahr später zog Hille zog mit seiner Frau Helena Fuest und 3 Kindern hier ein. Das Paar ließ in Holzhausen 6 weitere Kinder taufen, von denen jedoch zwei früh starben. Drei Söhne wurden weit über Holzhausen hinaus bekannt:

• Peter wurde spätromantischer und naturalistischer Schriftsteller; er lebte u.a. in Bremen, London, Holland und Zürich. Danach ging er auf Wanderschaft durch die Schweiz, Italien, Ungarn, Tirol und vermutlich Spanien. Ab 1893 war Berlin seine Heimat, wo er 1904 an den Folgen eines Blutsturzes starb. Zunächst im Berliner Vorort Mariendorf beerdigt, wurde er 1938 in ein Ehrengrab auf dem St.-Matthias-Friedhof Berlin-Tempelhof umgebettet. Eine Kurzbiographie befindet sich auf der Website der Peter-Hille-Gesellschaft (https://peter-hille-gesellschaft.de/148-2/biographie).
• Philipp studierte in Würzburg und Freiburg und wurde nach dem Besuch des Priesterseminars in Paderborn 1887-88 Kooperator in Lippstadt, 1888-89 Missionspfarrer in Schwalenberg, 1890-95 Kaplan und Religionslehrer in Hamm, 1890-95 Präses des kath. Gesellenvereins, ab 1895 Generalsekretär der kath. Arbeitervereine, 1898-1900 Mitglied des Deutschen Reichstags, 1900-1902 Professor für Moraltheologie und Sozialwissenschaft an der theologischen Fakultät Paderborn, 1902-03 Vikar in Schalke, 1904-05 in Witten, 1906-07 Pfarrer in Bausenhagen, 1908 in Bosseborn, 1909-12 in Corvey, 1913-15 in Eslohe
• Franz Anton wanderte 1879 legal nach Belgien aus, wurde Franziskanerpater und war unter dem Namen Kilian Hille ein namhafter Bonaventura-Forscher; er kehrte 1888 nach Warendorf zurück.

1939 wurde das Gebäude abgerissen, lediglich das Kellergewölbe blieb erhalten. Um 1949 wurde über dem alten Keller ein neues, kleineres Haus gebaut. Es erhielt entsprechend der Baureihenfolge die Nummer 96; die alte Nr. 40 wurde nicht wieder vergeben. Das Grundstück gehörte bis in die 1950-er Jahre der Familie von der Borch.