Takozvana „mala“ singoga se nalazi u prizemlju zgrade Jevrejske opštine koja je podignuta 1904. godine. Zgrada je podignuta neposredno nakon izgradnje velike sinagoge a po projektima budimpeštanskih arhitekata Marcela Komora i Deže Jakaba koji su osim „velike“ sinagoge projektovali subotičku Gradsku kuću i niz banjskih objekata na Paliću.
Iako ovu sinagogu uvek prati pridev „mala“, njen kapacitet nije toliko mali. U ovoj sinagogi, u klupama koje okružuju bimu sa šulhanom (uzvišen podijum sa stolom na kom se razvijaju svici Tore) ima oko 120 mesta. Otvaranjem velikih drvenih vrata koja čine ceo južni zid, sinagoga se širi na celu svečanu salu. Ne treba zaboraviti ni dvadesetak mesta na ženskoj galeriji. Sve u svemu, u hladnim zimskim mesecima, službi je moglo da prisustvuje oko dvesto vernika.
Na istočnom zidu, zidu okrenutom ka Jerusalim nalazi se aron ha‘kodeš, sveti orman u kom se čuvaju svici Tore. Na istom zidu, na dva prozorska vitraža dominiraju predstave Nojeve barke sa golubom mira i kupolom Solomonovog hrama.
Zidovi i plafon male sinagoge su bogato ukrašeni minucioznim zidnim slikarstvom sa motivima cvetnih šara i Davidovih zvezda, kojih ima oko 2000. Kada je ova sinagoga 1996. godine restaurirana, bio je to veliki izazov i zahtevan proces. Uz poznavanje procesa restauracije, vešte majstore i kvalitetan materijal, restauracija je završena za četiri meseca.
Mala sinagoga je bila i šul (škola). Poznato je da su se u njoj pre Drugog svetskog rata održavala đačka bogosluženja – da bi dečaci naučili ceo obred. Ona su se održavala subotom a nastavu je vodio rabin.
Danas, predmolitelj petkom vodi službu za Šabat kao i sve praznike. Osim beogradske sinagoge, ovo je jedina sinagoga u Srbiji gde se danas održavaju verske službe.
Mala sinagoga nije otvorena za turističke posete.
