Dit dubbele huis is omstreeks 1687 gebouwd. Bepaalde onderdelen als de balklagen, vloerdelen en kap herinneren nog aan de oudste bouwfase. In 1740 werd het pand in opdracht van Willem Gideon Deutz grondig verbouwd. Hij voorzag het huis van een nieuwe voorgevel, gang en trappenhuis.
In 1855 kwam het huis in handen van de koopman Pieter Gerard Holthuysen die het naliet aan zijn dochter Louisa Holthuysen (1824-1895). Zij trouwde in 1861 met de kunstverzamelaar Abraham Willet (1825-1888). Samen verbouwden zij het huis ingrijpend. Toen Louisa in 1895 als weduwe overleed, bepaalde zij in haar testament dat huis en inboedel naar de stad Amsterdam gingen onder voorwaarde dat het huis als Museum Willet-Holthuysen te bezichtigen zou zijn. Het waardevolle interieur is dus voor het publiek toegankelijk.
De fraaie lijstgevel in Lodewijk XIV-stijl wordt afgesloten door een sobere kroonlijst met daarboven een hoog schilddak met twee dakkapellen en hoekschoorstenen. De monumentale gevel is vooral versierd in de middentravee, waarin de entree ligt. De gebeeldhouwde deur- en raamomlijsting in de centrale partij is uitgevoerd in Lodewijk XIV-stijl en behoort tot de rijkste van Amsterdam. Vooral de in vals perspectief uitgevoerde consoles vallen op. Voor de voordeur is een dubbele stoep geplaatst met een dienstingang, de huidige entree van het museum.
Het huis is vermaard vanwege de waardevolle interieurs. De middengang met zijn marmeren vloer en lambrisering, symmetrisch geplaatste deuren en zijn plafond met stucdecoraties, is het resultaat van de verbouwing die in opdracht van Deutz in 1740 werd uitgevoerd.
Uit die periode dateert ook het monumentale trappenhuis met stucwerk in Lodewijk XIV-stijl. Het is een van de rijkste trappenhuizen in Amsterdam. Door een lichtkoepel op het dak, een zogenaamde lantaarn valt licht in het trappenhuis. Bijzonder sierlijk is de vergulde, smeedijzeren trapleuning. Maar de aandacht wordt vooral opgeëist door drie grote marmeren sculpturen die het oordeel van Paris uitbeelden, een geliefd onderwerp uit de klassieke mythologie. Paris, de Trojaanse prins die ook schaapsherder was, koos in een schoonheidswedstrijd tussen de godinnen Venus, Juno en Minerva voor eerstgenoemde, de godin van de liefde. Centraal in het trappenhuis is het beeld van Paris geplaatst, hier afgebeeld als herder. Venus is herkenbaar aan de schelp, een van haar attributen, terwijl het derde beeld attributen van zowel Juno als Minerva heeft.
In enkele kamers op de bel-etage en de eerste verdieping is de situatie uit de tijd van het echtpaar Willet nog goed te ervaren. Dat geldt in de eerste plaats voor de zaal, die werd gebruikt voor feestelijke gelegenheden als muziekavonden en bals. Het vertrek kreeg in 1865 zijn nieuwe inrichting. Het plafond in dit vertrek is het meest rijk gedecoreerde van het pand, wat ook voor de rest van de aankleding van de zaal geldt. De tapisserieën en het vloerkleed zijn door Willet in 1865 in Parijs bij de firma Braquenié besteld en in hetzelfde jaar vervaardigd en in Amsterdam afgeleverd. Het is aannemelijk dat Braquenié ook het donkerblauwe gebloemde damast leverde voor de gordijnen en de bekleding van de meubels. Bracquenié droeg waarschijnlijk ook de zorg voor de tapisserieën en het vloerkleed voor het pand Herengracht 502, de huidige ambtswoning, dat in opdracht van H.M. van Loon rond 1870 werd verbouwd. Andere onderdelen in de zaal van Herengracht 605 zijn naar alle waarschijnlijkheid ook in Frankrijk besteld.
Andere vertrekken waar de situatie uit de tijd van Willet goed is te ervaren zijn de eetkamer op de bel-etage en het rookkamertje op de eerste verdieping in de uitbouw aan de achterzijde.
In 1896, een jaar na het overlijden van Louisa Willet-Holthuysen, opende het museum zijn deuren. De privé-vertrekken werden ontruimd, omdat die voor het museum niet van belang werden geacht. De representatieve kamers ondergingen echter weinig wijzigingen. Dat veranderde halverwege de twintigste eeuw, toen men nauwelijks waardering had voor de negentiende-eeuwse kunst en dus ook niet voor de inrichting van Willet. De toenmalige directie wenste het huis terug te brengen naar de toestand van de zeventiende en achttiende eeuw. Uit educatief oogpunt moesten verder niet alleen de pronkzalen maar ook de keukens en dienstvertrekken worden getoond.
In het souterrain werd daarom (in 1960-1961) een achttiende-eeuwse keuken gecreëerd. Onderdelen van die gereconstrueerde keuken zijn daarvoor speciaal door architectenbureau Bart van Kasteel ontworpen, zoals het aanrecht, de schouw en de pompkast. Andere onderdelen zijn afkomstig uit de verzameling historische interieuronderdelen uit de collectie van het Stedelijk Museum, zoals bijvoorbeeld de kast.
De herenkamer van Willet (rechts van de entree, aan de grachtzijde) werd in 1978-1980 omgetoverd tot een achttiende-eeuws vertrek en wordt sindsdien de Blauwe Kamer genoemd. Onder het negentiende-eeuwse stucplafond werd een zolderstuk van Jacob de Wit uit 1744 geplaatst dat afkomstig is van Herengracht 250. De huidige schoorsteen is afkomstig uit Prins Hendrikkade 142, een bijpassende boezem werd door architect Bart van Kasteel ontworpen en biedt plaats aan een schoorsteenstuk, ook van Jacob de Wit. Als wandbekleding werd nieuw blauw velours gemaakt. Daarvoor maakte men gebruik van bestaande achttiende-eeuwse persrollen.
In de gevel werd de achttiende-eeuwse roedenverdeling gereconstrueerd. Verder kreeg het huis in 1973 een tuin in achttiende-eeuwse stijl die ontworpen werd door E. Mos. In het midden van de tuin is een achttiende-eeuwse zonnewijzer geplaatst. Aan weerszijden daarvan staan twee beelden van Ignatius van Logteren die de godinnen Flora en Pomona voorstellen. Zij zijn afkomstig van een buitenplaats in Aerdenhout. De tuin loopt tegenwoordig met een lichte knik door tot aan de Nieuwe Amstelstraat. Daarmee is een situatie ontstaan die in het verleden nooit heeft bestaan. Oorspronkelijk stond aan de Amstelstraat een koetshuis en was de tuin niet zichtbaar vanaf de Nieuwe Amstelstraat. De tuin moet niet worden beschouwd als een reconstructie, maar als een ontwerp van een twintigste-eeuwse tuinarchitect.
Vanaf het einde van de twintigste eeuw is de waardering voor de periode Willet toegenomen. Sindsdien staat de rijke bouw- en bewoningsgeschiedenis van het pand centraal in het beleid van het museum. Dat bleek in 1996-1997 toen het museum een (technische) renovatie onderging, waarvoor het ontruimd moest worden. Dit bood de mogelijkheid tot onderzoek. Met name in de voorzaal aan de linkerzijde op de bel-etage, die toen een nogal onbestemde ruimte was, werden onderdelen blootgelegd uit de periode van het echtpaar Willet. Spectaculair was de vondst van velouté-behang met bloemboeketten en meanderranden daterend uit circa 1865. Er was in 1996 geen tijd en geld voor restauratie. Er werd daarom besloten in een hoek van de kamer het velouté-behang in het zicht te laten en ook de bijbehorende meubels en fragmenten van de toenmalige stoffering tentoon te stellen. Momenteel wordt onderzocht of het mogelijk is om dit vertrek terug te brengen naar de toestand van omstreeks 1865.