Die Synagoge wurde von jüdischen Einwanderern gebaut, die sich von der Washington Hebrew Congregation abspalteten. Präsident Ulysses S. Grant folgte der Einladung von Simon Wolf und besuchte die Einweihung im Jahre 1876.
Die historische Synagoge befand sich ursprünglich an der Ecke 6th und G Street, wo heute das Hauptgebäude des Washington Metro System untergebracht sind. Eine Plakette markiert den Ort. Das Gebäude wurde im Dezember 1969 versetzt und bekam die Adresse 701 Third Street NW. Anfang August 2010 wurde bekanntgegeben, dass das Gebäude erneut versetzt werden soll, diesmal an die Ecke Third und F Streets NW – dieses Mal endgültig.