Isfabrikkens historie startede faktisk helt tilbage i 1880’erne med etablering af et lille mejeri. Med forskellige ejere og skiftende succes producerede og solgte man således mejeriprodukter frem til 1941, hvor man udover mejerivirksomheden for Næstved by og omegn havde en mindre produktion af håndlavede ispinde.

Mejeriet blev købt af familien Anders Olsen tilbage i 1941, og først i 1965 solgte familien mejeriproduktion fra, for udelukkende at satse på produktion og salg af is og desserter. I 1967 tilkøbtes Vordingborg Flødeis og i 1971 omdannedes Næstved Flødeis til et aktieselskab ledet af 2. og 3. generation Poul og Niels Olsen.

Virksomheden havde dengang mellem 28 og 40 ansatte (i højsæsonen), og producerede is til både Danmark, Vesttyskland og England. Som et lille kuriosum kan det nævnes, at fabrikken på en varm sommerdag solgte 3 – 5 gange flere is end normalt. Således kunne på én og samme dag distribuere op mod 90.000 is. Det var dengang, hvor en hver større provinsby havde sin egen isfabrik, og hvor næsten alle mejerier også producerede lidt is.

Intet varer evigt og i 1987/88 solgtes fabrikken til Frisko, som efterfølgende afviklede aktiviteterne i Næstved.

Udgangspunktet for de nuværende bygninger var som nævnt P. Chr. Houmaae mejeri på Ostenfeldtsvej helt tilbage i 1880. Bygningen der således husede mejeriet er i dag privatejet bolig.

De nuværende fabriksbygninger beliggende bag det oprindelige mejeri, og hvor vi har til huse i dag, blev indviet tilbage i juli 1950, og fungerede altså som ismejeri/isfabrik indtil 1988. Her blev bygningen efter indvendig ombygning brugt af flere arkitekt- og ingeniørfirmaer, først Peter Karstensen, senere Kastor og derefter videreført af arkitekt Erik Rask Larsen, som stadig er her.

Sammen tog Stefan Groth og Claus Christensen i 2015 initiativ til etablering af kompetencefællesskabet Isfabrikken. Et fællesskab som har til formål dels at tilbyde moden sparring til iværksættere og mindre virksomheder, og dels at være et hus, som tilbyder stærke og konkurrencedygtige virksomhedsløsninger indenfor foto, grafik, markedsføring, reklame og IT-jura.