Anton hield van jagen, maar Helene Kröller-Müller had een heel andere hobby: ze was dol op moderne kunst.
Ze begon in 1907 met het verzamelen van kunstwerken. Geld speelde geen rol, dus Helene kocht waardevolle stukken en bezat binnen twintig jaar ruim 800 schilderijen, ongeveer 275 beelden, zo’n 5.000 tekeningen en ook nog eens bijna 500 gebruikskunstwerken, zoals meubels en vazen.
In het begin verzamelde Helene vooral voor zichzelf, maar al snel vond ze dat iedereen moest kunnen genieten van haar kunstcollectie. Ze besloot een museum te laten bouwen op het landgoed. Een architect maakte een ontwerp en de eerste muren werden gemetseld. Als het aan Helene lag, zou het museum zo snel mogelijk geopend worden. Maar dat liep anders… in 1922 ging het bedrijf van Anton failliet. De bouw van het museum moest worden gestaakt en de Kröllers verkochten hun landgoed, het ingerichte Jachthuis en alle kunstwerken aan een stichting. De Nederlandse Staat werd eigenaar van Helenes kunstcollectie en zorgde er alsnog voor dat er een museum kwam: het Kröller-Müller Museum werd in 1938 geopend door Helene zelf.