De voorloper van de huidige Philharmonie is de herensociëteit de ‘Vereeniging’. Deze sociëteit werd opgericht door vierentwintig Haarlemse ondernemers. De heren waren allen zogenaamde nieuwe ondernemers die vermogend waren geworden door de zegeningen van de industriële revolutie. Zij hadden de behoefte om elkaar te ontmoeten maar ook met elkaar te ontspannen. In 1856 werd daartoe een pand aangekocht in de Lange Begijnestraat.
Het ledental groeide en het aantal activiteiten ook. De ‘Vereeniging’ had behoefte aan een grote concertzaal voor ca 1.300 bezoekers, zij kocht de gehele Lange Begijnestraat en Wijde Appelaarsteeg op. Architect A. van der Steur ontwierp de concertzaal die in 1873 zijn deuren opende. Noviteit was de koffiekamer speciaal voor de dames.
In juli 2001 sloot het Concertgebouw Haarlem zijn deuren en startte architect Frits van Dongen van de Architekten Cie een ambitieus verbouwingsproject. Dit resulteerde op vrijdag 14 oktober 2005 in de opening van Philharmonie Haarlem.