Dit destijds voor Amsterdamse begrippen imposante gebouw ontstond in 1787-1792. Het werd gebouwd in opdracht van het genootschap Felix Meritis, “Gelukkig door Verdiensten”. Het genootschap, dat in de wandeling Felix genoemd wordt, werd opgericht in 1777, ter bevordering van de kunsten en wetenschappen. Felix Meritis was een genootschap van het soort waarvan er rond het midden van de achttiende eeuw in Europa meerdere opgericht werden. Veel van die genootschappen waren gegrondvest op de gedachte dat men juist in de ‘gezellige’ omgeving van vrienden en gelijkgestemden de basis kon leggen voor kennis, deugd en geluk. Dat samenzijn was niet alleen gezellig maar ook nuttig, omdat het deugd, kennis en beschaving bevorderde. Felix bestond uit vijf departementen, zodat het als het ware vijf genootschappen in zich verenigde: één voor economische vraagstukken, één gericht op popularisering van de natuurwetenschappen en drie die zich bezighielden met de beschavende werking van letterkunde, muziek en tekenkunst. Het genootschap heeft tot 1889 bestaan.

Toen het ledental van Felix Meritis boven de 200 was gestegen, besloot men een nieuw verenigingsgebouw te bouwen aan de Keizersgracht. Men schreef een internationale prijsvraag uit waarop 16 inzendingen binnenkwamen. De stucwerker en architect Jacob Otten Husly (1738-1796) kwam als winnaar uit de bus. Voor de nieuwbouw moesten drie huizen wijken.
De monumentale gevel is gebouwd in de internationale vormentaal van het classicisme die in het laatste kwart van de achttiende eeuw in Europa zeer populair was. De gevel is geheel opgetrokken in Bremer zandsteen en contrasteert daardoor sterk met de smallere, overwegend bakstenen gevels van de traditionele grachtenpanden aan weerszijden.
De voorgevel wordt boven de sokkelachtige begane grond geaccentueerd door een middenrisaliet met een tempelfront. Dat tempelfront bestaat uit vier kolossale Corinthische driekwart zuilen die over twee verdiepingen reiken en een hoofdgestel en driehoekig fronton dragen. Boven de kroonlijst en achter het fronton strekt zich een bijpassende attiek met balustrade uit. In de sluitstenen van de vensters zijn gestileerde acanthusbladeren verwerkt. Boven de hoge rondboogvensters van de eerste verdieping zijn vijf basreliëfs van beeldhouwer Jan Swart geplaatst. Ze tonen de vijf departementen van de vereniging, te weten (v.l.n.r.) de tekenkunde, letterkunde, koophandel, natuurkunde en muziek. Voor het pediment maakte Swart een sculptuur rondom het blazoen van de maatschappij met een bijenkorf en daaromheen zwermende bijen die verwijzen naar de vruchtbare nijverheid van de leden.
Het gebouw Felix Meritis is in zijn soort een uniek gebouw, omdat het ruimtelijk vrijwel onaangetast is gebleven. Net als de voorgevel is het interieur van oorsprong classicistisch vormgegeven. Overal in het gebouw toont de oorspronkelijke detaillering hoe de architect en stucwerker Jacob Otten Husly tijdens de bouw tot in de kleinste decoratieve details de controle behield. Bij de laatste ‘restauratie’ (eind jaren negentig van de twintigste eeuw) zijn de muren ofwel eenvoudig glad gestuct of van stucwerk ontdaan, zodat de grof behakte baksteen in het zicht is gekomen. Ook zijn toen de eikenhouten vensterluiken, kozijnen en deuren kaal geschuurd, terwijl die oorspronkelijk allemaal geverfd waren.
Vanaf de entree loopt door het voorgebouw een brede middengang die door middel van het monumentale trappenhuis aansluit op het achtergebouw. Het
trappenhuis heeft een rechthoekige plattegrond en is zo ontworpen dat de vele groepen gebruikers van het gebouw elkaar gemakkelijk konden passeren. Het achtergebouw wordt bijna geheel ingenomen door de hoge ovale concertzaal met een balkon dat circa 1858 werd gebouwd. De akoestiek van de concertzaal was legendarisch en diende als uitgangspunt voor het ontwerp van de kleine zaal van het nieuwe Concertgebouw dat rond 1885 aan de Van Baerlestraat werd gebouwd. De rondbogen van de wanden komen uit op de deuren van de corridors om de zaal. Daarboven zorgden de nu geblindeerde vensters oorspronkelijk voor daglicht. In het plafond bevinden zich twee omlijste rozetten, waarvan die in het midden oorspronkelijk de luchtverversing regelde.
Via de trap bereikt men op de eerste verdieping de grote gehoorzaal. Deze zaal aan de grachtzijde wordt tegenwoordig de ‘zuilenzaal’ genoemd en vormt vaak het decor vormt discussieprogramma’s op tv. Twaalf gemarmerde, houten Ionische zuilen (waarvan vier halfzuilen tegen de wanden) ‘dragen’ het plafond.
Halverwege de trap, op de overloop tegen de wand van de concertzaal bevindt zich een groot reliëf in stucwerk met een allegorie op de bezigheden van de oorspronkelijke vijf departementen van Felix Meritis. Boven de muziekzaal ligt de Shaffyzaal, oorspronkelijk ontworpen als zaal van het departement voor natuurkunde. De zaal heeft een tribune en is daardoor speciaal geschikt voor het doen van spectaculaire proefnemingen met publiek.
Een halve verdieping hoger, boven de zuilenzaal, ligt een zaal die oorspronkelijk gebruikt werd door het departement der tekenkunde. Na de brand van 1932 werd deze zaal in gebruik genomen als het hoofdkwartier van de CPN. Indertijd werd hij 'het Kremlin' genoemd.
Boven de Shaffyzaal zijn onder de kap twee verdiepingen te vinden waarin de imposante houtconstructie onder het platte dak goed zichtbaar is. Ooit was hier het observatorium van Felix Meritis gevestigd.