L’edifici de Can Caralt fou en origen una masia de tres cossos, propietat de la família Cassany. Datada el 1774, encara es conserva el testimoni de l’any a l’arc escarser de la porta d’entrada.
El 1852 Josep de Caralt i d’Argila (1805-1882), un aristòcrata i empresari de Mataró, va comprar la finca i la casa del Mas Cassany amb la intenció de fer-se un patrimoni al poble. Va transformar l’antiga masia en un gran casal senyorial, afegint-hi les galeries de la banda esquerra, alçant una segona planta i golfes i decorant la façana amb uns magnífics esgrafiats que amb el temps van anar modificant-se per deixar testimoni de la nissaga.
Amb poc temps els Caralt es convertiren en els terratinents més importants de Llavaneres, arribant a adquirir gairebé la meitat de les terres del poble que compraren als pagesos. Als terrenys propers a la casa s’hi van construir quadres, magatzems, cellers i habitatges per alstreballadors, on avui hi ha emplaçat l’IES Llavaneres. Només en resten com a testimoni uns caps de bestiar de pedra que estaven situats a les antigues quadres i que avui es poden veure des de la sala d’exposicions de la planta baixa del museu, i la torre del rellotge que ha estat restaurada recentment.
A la mort de Josep de Caralt i d’Argila heretà la finca el seu fill Delmir de Caralt i Matheu (1835-1914), advocat de professió i vinculat també al món industrial. En un dels esgrafiats de la façana s’hi pot veure la data de 1882 i les seves inicials.
El fill de Delmir que heretà la finca fou Josep de Caralt i Sala (1862- 1944), industrial i polític espanyol, que va arribar a ser ministre d’hisenda durant el regnat d’Alfons XIII, el qual li concedí el títol de comte de Caralt el 1916.
Durant la primera meitat del segle XIX, a banda de ser la residència estival dels comtes de Caralt, la finca es va convertir en una important colònia agrícola i ramadera on s’hi produïa molta llet, amb la qual s’elaboraven iogurts. També produïen oli, vi i productes de l’horta que es portaven a vendre a Barcelona amb un camió propi.
L’any 1997 l’Ajuntament de Sant Andreu de Llavaneres va comprar la casa i cinc anys després van començar les reformes de rehabilitació, convertint-se l’any 2004 en la nova seu del Museu Arxiu de Sant Andreu de Llavaneres.
