L’edifici es troba situat en una zona de la ciutat on ja existien construccions al segle XIV. D’aquesta primera època queden pocs vestigis: el pou situat al bell mig de l’hivernacle S. XIV, i els murs dels soterranis dels S. XVI i XVII.
Es tenen documents datats del 1810 on consta que l’actual edifici ja estava construït: format per una planta baixa amb pati i tres plantes superiors. Era propietat de la família d’en Ignasi Asols. 

Corria l’any 1868 quan el seu propietari decidí dividir-la en dos cases. El projecte es va encarregar al mestre d’obres Pere Pascual i Baguer, que aprofitant les obres de reforma, va fer una nova façana seguint l'actual alineació del carrer, d’aquesta manera es van guanyar uns 18 m². de superfície del terreny. L’actual façana doncs, data del 1868. Els nous propietaris van passar a ésser el Sr. Francesc Daltavuit (actual número 48) i el Sr. Josep Roura (actual número 50). Posteriorment en Josep Roura va comprar l'edifici del darrera i el va enderrocar per annexar-lo al seu, fent un petit jardí.

El senyor Josep Vilaret i Xatart va comprar el dia 1 de juliol del 1897 les dos cases amb la finalitat de condicionar-les i tornar a formar-ne una de sola per anar-hi a viure després de casar-se amb la pubilla de “Can Barris” de Palafrugell.

Els Srs. Vilaret van ésser els antics propietaris de la companyia de la llum de Sant Feliu de Guíxols abans de que fos comprada per la Fecsa. També tenien propietats sureres.
El Sr.Vilaret va dotar la casa amb els actuals artesonats i pintures dels sostres, així com dels mosaics de gres tan espectaculars que es mantenen en perfecte estat. Van ésser incorporades noves llars de foc a la primera i segona planta, mentre que el tercer pis va quedar destinat al servei. Malauradament en fer aquestes reformes van quedar destruïdes les antigues i petites cambres que donaven a la façana principal (que estaven decorades amb pintures de l’època) i que es van substituir per les esplèndides cambres actuals amb pintures al sostre i els magnífics mosaics de gres.

També data de la mateixa època l’hivernacle i els vitralls de colors que conté. En un dels patis són destacables els esgrafiats modernistes i la jardinera amb rajoles de la mateixa época.

D’ací en endavant, es conegué popularment la casa com a “Can Vilaret”. I resta catalogada per l’Ajuntament de la Ciutat com a edifici de patrimoni arquitectònic.

Va ésser cap el final de l’any 1998 quan va sorgir l’idea d’en Tomàs Pla (col·leccionista de joguines), de formar un Museu de la joguina, aprofitant la casa que té a la Rambla Vidal, 46. Al començar a fer el projecte es va detectar que encara que tenint la casa 4 plantes quedava molt petita per a un museu, i el projecte va quedar en via morta. Al final de 1999 va sorgir la oportunitat de poder comprar l'edifici del costat número 48 i 50.

Als primers dies de l’any 2000 van ésser decisius per arribar a un acord: per un costat amb els descendents del Sr.Vilaret i per l’altre amb l’Ajuntament que havia declarat la façana de la casa com a patrimoni arquitectònic i havia prohibit de fer obres a l’edifici amb la finalitat de preservar-lo d’un enderroc per a construir-hi pisos. Acabades les negociacions amb les dues parts es va procedir a la compra de l’edifici per part del Sr. Tomàs Pla amb la finalitat d’adaptar i condicionar-lo com a museu, seguintuna acurada restauració de tots els seus elements arquitectònics.

El dia 11 d'agost del 2000 es va inaugurar el "Museu d'Història de la Joguina" (col·lecció Tomàs Pla), presidit per l'alcalde i més de 500 invitats a l'acte. L'endemà es va fer una jornada de portes obertes per la qual van passar més de 2000 persones.

Actualment ja s'ha fet el projecte d'ampliació, s'han executat les dos escales d'emergència i la cafeteria (que té accès directe pel carrer de Sant Llorenç, 43), properament s'aniran obrint més sales al public: al primer pis la sala número 3, i al segon pis la sala número 9 (el teatre), la sala 13 i 14 que es dedicaran a les joguines de plàstic. La tercera planta correspon a les oficines. Aquestes sales s'aniran obrint a mida que les obres de condicionament ho permetin.