Lige præcis hvornår denne ejendom er bygget, vides ikke med bestemthed. Man ved den har været ejet af en skomager, der i 1902 solgte den til Carl Madsen, som flyttede sin cykelforretning i Høve til Asnæs.
Da telefonen kom til Asnæs i 1908, blev centralen installeret i huset med 57 abonnementer.
Efterhånden blev der bygget til huset både i højden og i længden, og der blev indrettet butik med isenkram og el-artikler. Cykelforretningen blev solgt fra i 1924.
Det formodes, at den telefonistbetjente telefoncentral, som fik flere abonnementer, fortsatte med at fungere i lokalerne frem til automatiseringen i 1972, hvorefter den selvejende institution ”HUSET I ASNÆS”, der blev stiftet i januar 1973, erhvervede bygningen.
I dag anvender Odsherredskunstnerne bygningen til skiftende udstillinger af egne værker og af skiftende gæstekunstneres malerier og skulpturer.
Modellen er færdigbygget i 2009.