Herengracht 475 geeft een goed beeld van wooncultuur aan de ‘Gouden Bocht’ van de Herengracht in de achttiende eeuw. Het pand onderging toen tot twee maal toe een verbouwing, respectievelijk kort na 1730, vervolgens in circa 1792-1795. Bij de eerste verbouwing werd het huis in de toen gangbare ‘Hollandse’ Lodewijk XIV-stijl opgetrokken. In het tweede geval betrof het meer een herinrichting waarbij het interieur werd aangepast aan de eigentijdse normen van de Lodewijk XVI-stijl. Hierdoor is in Herengracht 475 een synthese ontstaan tussen aanvang en eindstadium van onderling verwante stijlperiodes die hun inspiratie in de Franse Lodewijk-stijlen vonden.
Zoals bijna alle huizen aan de Gouden Bocht was Herengracht 475 een in oorsprong zeventiende-eeuws woonhuis. Bij de uitgifte van de erven in 1665 kocht koopman Denys Nuyts, zoon van een uit Antwerpen geïmmigreerde suikerbakker, drie percelen corresponderend met de huidige panden Herengracht 473-475. Korte tijd later kon Nuyts tevens het oostelijk aangrenzende perceel verwerven. Op de vier percelen liet hij drie nieuwe huizen onder één dak verrijzen. Het middelste en grootste huis bleef in bezit van de familie Nuyts tot 1730 toen het voor het bedrag van 70.000 gulden werd verkocht aan de 42-jarige Petronella van Lennep-de Neufville. Zij was de weduwe van de zijdekoopman Jacob van Lennep en bewoonde het huis toen al geruime tijd als huurhuis.
In 1733 trad Petronella in het huwelijk met haar neef, de koopman en administrateur Mattheus de Neufville, die bij haar introk. Het echtpaar liet het oude huis bijna geheel vervangen door nieuwbouw, misschien naar een ontwerp van Jan van Logteren (1709-1745), die ook voor de rijke sculpturale aankleding van het pand verantwoordelijk was. De verbouwing is uitgevoerd in de stijl van de naar de Republiek uitgeweken Franse vormgever van het ‘deftig bestaan’, Daniel Marot (1661-1752) die hier een op Hollandse maat gesneden interpretatie van de Franse Lodewijk XIV-stijl introduceerde.
Status en representatie telden zwaar in de wooncultuur aan de Gouden Bocht. Dat beeld wordt bevestigd door het belastingkohier van 1742, dat voor Herengracht 475 melding maakt van de aanwezigheid van onder andere rijtuigen en paarden en zes dienstboden.
De uit zandsteen opgetrokken gevel van het pand imponeerde door ingetogen rijkdom. Het rechthoekige gevelvlak wordt gekenmerkt door een sterk geaccentueerde middenpartij, strakke ritmiek in de maatvoering en weelderige ornamentiek. Het zadeldak wordt aan het oog onttrokken door een iets naar binnen zwenkende balustrade waarvan de cartouche in het midden door liggende vrouwenfiguren wordt geflankeerd. Het reliëf op de cartouche toont kinderen die vruchten uit een boom schudden. Een vergulde hemelglobe bekroont de geveltop.
De plattegrond van de hoofdverdieping vertoont dezelfde basisprincipes als de gevelopbouw. Ook hier is sprake van een ritmische symmetrie aan weerszijden van een centrale as, in dit geval een voorhal en een tot aan de achtergevel doorlopende gang die uitzicht biedt op de tuin. Achterin de tuin, aan de Reguliersdwarsstraat, staat een koetshuis met fraai beeldhouwwerk en een door Ionische zuilen geflankeerde ingang.
Jan van Logteren versierde de voorhal met stucwerk. Boven de deuren kwamen allegorische voorstellingen van de vier elementen; de voorste twee deuren zijn in werkelijkheid schijndeuren die alleen dienen ter ondersteuning van de symmetrische ritmiek. Op het plafond zijn Wijsheid en Voorzichtigheid uitgebeeld. Levensgrote beelden van Venus en Adonis in de gangnissen leiden door hun blikrichting de aandacht van de bezoeker naar het architectonisch hoogtepunt in het interieur: het met rijk stucwerk uitgevoerde trappenhuis rechts van de gang dat via een glazen koepellantaarn licht ontvangt. Daar bevindt zich, tegen de achterwand, een beeld van de zonnegod Apollo, vergezeld door Euterpe en Thalia, de muzen van respectievelijk muziek en blijspel. Nog hoger zijn achter balustrades bedrieglijk levensechte muzikanten uitgebeeld. De stucwerkdecoratie wordt gecompleteerd door bustes boven de deuren achter in de gang op de hoofdverdieping en bloemvazen boven de deuren van de gang op de bovenverdieping.
De voorkamer rechts is door Isaäc de Moucheron (1667-1744) voorzien van behangselschilderingen met classicistisch getinte droomlandschappen. De voorstellingen lopen rondom door, ook over de deur heen. De bezoeker waant zich zo in een loggia vanwaar hij uitkijkt over een landschap gestoffeerd met in quasi-antieke kledij gehulde figuren, klassieke beeldengroepen, tempels en fonteinen.
In opdracht van Petronella de Neufville bracht Jacob de Wit (1695-1754) in de zaal een ovaal plafondstuk aan, gedateerd 1731, met een voorstelling van de godin Diana, die, vergezeld door dienaressen, in de godenhemel wordt verwelkomt. Petronella volgde kennelijk het voorbeeld van haar zwager, Dirk van Lennep, die een jaar eerder ook door De Wit een plafondstuk had laten aanbrengen in zijn huis Herengracht 476 aan de overzijde van de Gouden Bocht.
Het pand werd in 1792 voor een bedrag van 116.000 gulden eigendom van Jan Gildemeester (1744-1799), zoon van de koopman en consul-generaal van de Republiek in Portugal. In 1778 werd Jan Gildemeester net als zijn vader agent en consul-generaal, maar nu in de Republiek ten behoeve van Portugal. Al op jeugdige leeftijd was Jan Gildemeester begonnen met de aanleg van een schilderijenverzameling die bij zijn dood in 1799 ruim 300 werken omvatte. Daarnaast verzamelde hij tekeningen, prenten en andere kunstvoorwerpen. Het pand aan de Herengracht bood Gildemeester de mogelijkheid zijn kunstverzameling op passende wijze te presenteren. De grote zaal achter in het huis werd, in combinatie met de kleinere voorkamer waarmee de zaal door dubbele schuifdeuren was verbonden, als toonzaal ingericht. Waarschijnlijk had Jacob Otten Husly (1738-1796), directeur van de stadstekenacademie met wie Gildemeester goed bevriend was, de supervisie over de verbouwing. Een schilderij van Adriaan de Lelie, nu in het Rijksmuseum, laat zien hoe de toonzaal er toentertijd uitzag. Het schilderij kwam vermoedelijk tot stand ter gelegenheid van de afronding van de verbouwing aan het einde van 1794. Op de voorstelling is Gildemeester te zien temidden van een schare kunstliefhebbers die hij had uitgenodigd om zijn schilderijencollectie te bezichtigen. Tegenwoordig ziet de suite er in grote lijnen nog hetzelfde uit als in de dagen van Jan Gildemeester: de betimmering met gesneden, deels vergulde lijsten, profielen en festoenen, het beeldhouwwerk boven de deur, met de kop van Mercurius in medaillon tussen attributen van handel en scheepvaart, de deuren met grote rozetten, en de schoorsteenmantel. De plafondschildering van De Wit liet Gildemeester ongemoeid waardoor deze als het ware een integraal onderdeel van de schilderijencollectie ging vormen.
Gildemeester gaf Jurriaan Andriessen (1742-1819) opdracht om in de voorkamer de wand tegenover de ramen van nieuwe behangselschilderingen te voorzien. In stijl en thematiek sluiten de voorstellingen nauw aan bij het oudere werk van De Moucheron. Aan weerszijden van een arcadisch landschap schilderde Andriessen allegorische figuren van Architectuur en Beeldhouwkunst in grisaille.
Na Gildemeester heeft het pand geen schokkende veranderingen meer ondergaan. In 1907 werd het pand gekocht door de Hollandsche Sociëteit van Levensverzekeringen en kreeg het als zovele andere panden aan de Gouden Bocht een kantoorfunctie. De daarvoor noodzakelijke verbouwing gebeurde onder leiding van de architect C.B. Posthumus Meyjes. Met medewerking van het Rijksmuseum liet de nieuwe eigenaar onder andere een plafondschildering van het huis Herengracht 507 in de ‘Moucheronkamer’ aanbrengen, in 1736 geschilderd door Anthony Elliger (1701-1781).
Het pand onderging in 1964-1966 een grondige restauratie. Ook de tuin werd toen opnieuw aangelegd, in Lodewijk XIV-stijl.