Het gebouw is in neoclassicistische stijl gebouwd in 1859 op de plek waar in 1306 het Oude Begijnhof was verrezen. Het werd ontworpen door C. M. Storm van 's Gravesande en Maarten van Harten sr. Het weeshuis voor kinderen van grootburgers en halfburgers was al in 1560 opgericht en rond 1815 naar deze locatie verhuisd. De laatste wezen vertrokken in 1930 uit het gebouw. Het deed daarna nog dienst als bejaardenhuis en stond vervolgens langdurig leeg. In 1981 werd het door jongeren ten behoeve van hun activiteiten gekraakt en in 1984 officieel verbouwd tot open jongerencentrum. Sinds 1994 is het vooral in gebruik als poppodium.
Het Burgerweeshuis heeft een grote zaal met ruimte voor ongeveer 520 mensen en twee bars.