In 1670 kwam het huis Herengracht 476 van de medicus Francois de Vicq gereed. Het stond in de Gouden Bocht van de Herengracht, onderdeel van de stadsuitbreiding van 1662. Het brede maar relatief lage huis telde slechts één verdieping boven de bel-etage. De bakstenen gevel werd onderverdeeld door zandstenen pilasters die over de gehele gevel doorliepen. Herengracht 476 is het laatste zeventiende-eeuwse pand in Amsterdam met een dergelijk gevelontwerp.
De Vicq bewoonde het huis samen met zijn gelijknamige zoon en zijn schoondochter Aletta Pancras. In 1670, het jaar dat het huis in gebruik werd genomen, vervaardigde Gerard Ter Borch een dubbel portret van Francois de Vicq jr. en diens vrouw (nu in het Rijksmuseum). Francois de Vicq jr. heeft een aantal belangrijke ambten bekleed en werd driemaal tot burgemeester gekozen.
Na de dood van De Vicq jr. werd het huis in 1708 gekocht door de doopsgezinde koopman David de Neufville die een riant tuinhuis liet bouwen met een zandstenen gevel waarop beelden kwamen te staan van Apollo en Diana aan weerszijden van een reliëf met een zittende Mercurius.
In 1729 ging het huis over naar de schoonzoon van David de Neufville, Dirk van Lennep, die direct aan een intensieve verbouwingscampagne begon onder leiding van de aannemer Jan van der Streng en de beeldhouwer Ignatius van Logteren. De kruiskozijnen maakten plaats voor schuiframen en het ouderwetse fronton werd vervangen door een rijk gebeeldhouwde balustrade met siervazen en in het midden het wapenschild van De Neufville. Het wapenschild werd geflankeerd door beelden van Mercurius en Venus en bekroond door een adelaar met uitgespreide vleugels.
Op de achtergevel kwam een klok met het jaartal 1731. Ook voor het interieur had Van Lennep grootse plannen. Jacob de Wit kreeg opdracht voor een plafondschildering in de zaal rechtsachter, Ignatius van Logteren begon aan de vernieuwing van het trappenhuis. Halverwege werden de werkzaamheden hieraan gestaakt omdat Van Lennep zich ten gevolge van speculatie in koffie in ernstige financiële problemen had gebracht. In 1732 vond de gedwongen verkoop plaats van zijn huis met een onaf trappenhuis. Waarschijnlijk had dit trappenhuis er net zo uitgezien als dat van Herengracht 475 aan de overzijde waar Petronella de Neufville woonde, de schoonzuster van Dirk van Lennep. Zij liet haar trappenhuis ontwerpen door Jan van Logteren, de zoon van Ignatius van Logteren. Het heeft min of meer dezelfde opzet als het trappenhuis van nummer 476. Mogelijk heeft Jan van Logteren behalve het ontwerp ook onderdelen van het trappenhuis van zijn vader gebruikt.
In 1792 liet de toenmalige eigenaar, de bankier Hendrick Muilman, het huis opmeten alvorens het te laten verbouwen. Aan de hand van de opmeting laat de achttiende-eeuwse indeling zich goed reconstrueren. In het souterrain waren drie ingangen, waarvan de middelste in de stoep was ondergebracht. Vanaf hier liep een middengang langs het trappenhuis door tot aan de tuin. Rechts vóór was een voorraadruimte, links bevonden zich een meidenkamer en een gang naar een binnenplaatsje naast het trappenhuis en de keuken aan de tuinzijde. De grote tuinkamer rechtsachter diende in de achttiende eeuw als eetkamer.
Via het trappenhuis stond het souterrain in verbinding met de bel-etage. Hier lagen aan weerszijden van een vestibule de voorkamers, waarvan de rechter in verbinding stond met de grote ontvangstzaal aan de tuinzijde. Achter de linker voorkamer bevonden zich het trappenhuis en een kleine eetzaal. De vertrekken van de hoofdverdieping hadden moer- en kinderbalken, de vier slaapkamers op de verdieping enkelvoudige balklagen.
Muilman liet de hoofdingang naar straatniveau verplaatsen. De stoep kwam daarmee te vervallen. Hierdoor werd ook een andere interieurindeling mogelijk. Achter de voorgevel kwam nu ruimte voor een zaal met zijkamer die als kantoorvertrek werd gebruikt.
Muilman bezat een beroemde schilderijencollectie bestaande uit circa 200 schilderijen, waaronder het ‘Melkmeisje’ en de ‘Kantwerkster’ van Vermeer. In 1813 werd de collectie door zijn zoon Willem Ferdinand geveild. Als gouverneur voor zijn zoon had Muilman de Duitse dichter August Wilhelm Schlegel in huis genomen. Gedurende diens vierjarig verblijf alhier voltooide Schlegel de vertaling van de volledige werken van Shakespeare in het Duits.
In 1853 werd de dochter van Willem Ferdinand Muilman, Anna Maria Mogge Muilman, hoofdbewoonster van het pand. Naar verluidt zou de latere keizer Napoleon III haar een huwelijksaanzoek hebben gedaan, maar uiteindelijk trouwde ze met jonkheer A. J. van de Poll. Na haar dood in 1878 kwam een deel van de schilderijencollectie van het echtpaar als ‘legaat Van de Poll’ in bezit van het Rijksmuseum. Het pand werd van 1881 tot 1887 verhuurd als meisjesschool, die in verband met de ligging aan de Gouden Bocht en de vergulde letters op de gevel, bekend stond als de ‘Gouden School’.
In 1904 kocht de bankier George Rosenthal het huis als geschenk voor zijn aangenomen dochter Marianne Elias Rosenthal en haar man, Berthold Nathusius. Het echtpaar gaf de architect Eduard Cuypers (1859-1927) in 1913 opdracht op de verdieping een stijlvolle slaapkamer met badkamer in te richten. De zolderverdieping werd door het verwijderen van de oude kappen tot lage woonverdieping uitgebouwd.
De laatste bewoonster was mej. G.L.C.A. Mirandolle die het huis bewoonde van 1927 tot aan haar dood op honderdjarige leeftijd in 1974. In 1939-1942 had zij het pand door de architect C.W. Royaards in achttiende-eeuwse toestand laten restaureren waarbij de dubbele stoep en de achttiende-eeuwse indeling, inclusief de linker voorkamer, in ere werden hersteld. In 1957 volgde de restauratie van het tuinhuis, wederom onder leiding van C.W. Royaards.
In 1943 werd het huis door de Duitse Wehrmacht gevorderd. Na de oorlog kon mej. Mirandolle het huis wederom betrekken, maar gaf het in 1953 in eigendom aan de Vereniging Hendrick de Keyser. Sinds 1981 is het pand verhuurd aan het Prins Bernhard Cultuurfonds. Het tuinhuis werd, na een restauratie en verbouwing door M.R. Fritz, als kantoorruimte in gebruik genomen door de Nederlandse Tuinenstichting.
Het interieur kent drie kamers van bijzondere waarde. De linker voorkamer heeft een achttiende-eeuws plafond en een van elders ingebrachte schouw met spiegel in Lodewijk XIV-stijl. De grote zaal rechts achter kent een indrukwekkende serie plafondschilderingen, in 1730 vervaardigd door Jacob de Wit. Het plafond is door houten lijstwerk in vakken verdeeld. Het grote middenstuk heeft tot thema ‘De Dageraad verdrijft de Nacht’. De overige schilderingen zijn in grisaille uitgevoerd. Op de hoekstukken zijn de vier seizoenen, op de twee medaillons zijn Apollo en Diana te zien. Ook het plafond van de linker achterkamer is beschilderd.
Bij de restauratie van de schilderingen in 2000 onder leiding van Bert Jonker, kwam aan het licht dat de schilderingen hier oorspronkelijk niet zaten. Hoewel de schilderingen precies pasten, waren ze niet, zoals gebruikelijk, tegen zeventiende-eeuwse balken aangebracht, maar tegen een stucplafond geschroefd dat uit het begin van de negentiende eeuw dateerde toen het huis door Muilman werd verbouwd. Ook het houtwerk van deuren, kozijnen en lambrisering bleek van die tijd te zijn. Bij het demonteren van een van de hoekstukken kwam het jaartal 1904 tevoorschijn, het jaar waarin de schilderingen werden aangebracht. Tijdens restauratie in 1928 onder leiding van de architect A.A. Kok werden de achttiende-eeuwse schouw met schoorsteenstuk van De Wit alsook de twee bovendeurstukken met omlijsting ingebracht. Tegelijk werd het witte houtwerk toen groen geschilderd. Na kleuronderzoek kreeg het houtwerk bij de restauratie van 2000 weer zijn oorspronkelijke grijze kleur terug.
Het raadsel dat het plafondstuk van Jacob de Wit precies in de zaal paste, maar daar niet altijd heeft gezeten, is inmiddels opgelost. In de Verenigde Staten dook een vrijwel identiek plafondstuk van De Wit op dat de originele schildering van Herengracht 476 moet zijn geweest. Het is bekend dat Jacob de Wit in verband met zijn drukke werkzaamheden regelmatig kopieën van eigen werk vervaardigde. Dit moet ook zijn gebeurd met het plafondstuk dat hij voor Herengracht 476 had geschilderd. Het origineel is inmiddels door een verzamelaar aangekocht en zal, na restauratie, naar een Amsterdams grachtenhuis terugkeren.