善義堂清真寺位于鼓樓街南鵓鴿寺10號。西鄰馬道街、南鄰鐵佛寺街。寺坐西向東。

清咸豐年間西北五省回民起義，遭到左宗棠等人的鎮(zhèn)壓。部分起義群眾陸續(xù)遷入開封，至同治間已有300余家。這部分移民善于經(jīng)商開始大多經(jīng)營販馬，所以開封人稱之為"馬客伙"后來部分在開封經(jīng)營商鋪。他們的宗教活動原來在文殊寺，以后因教派不同，就籌劃自建清真寺。為避清廷耳目，仿同鄉(xiāng)會館之格局，用設(shè)義塾名義，呈請當(dāng)局。祥符縣于同治十三年（1874年）頒發(fā)告示："查該商民等捐資設(shè)塾，實(shí)屬善舉，足見仗義疏財，足堪嘉尚，已批準(zhǔn)立案辦理。"自此動工至光緒十三年（1887年）前后13年始告完工，共用銀19300余兩。共建成"大殿十楹、拜殿七楹、兩廂講堂十楹、西廂學(xué)房六楹、門房二楹、經(jīng)學(xué)堂十五楹、群房二十九楹、后殿二楹、耳房四楹、三門五楹、大門二楹、浴堂十楹、門面房十九楹、后門一楹，共房百十六楹"。

善義堂建成后，由于地方士紳的反對，不允許稱清真寺，直到光緒二十七年（1901年）慈禧由西安返京，在開封停留時，由其先行官回族馬安良將實(shí)情稟告后，得慈禧親題"清真寺"匾額，才得以正名為善義堂清真寺。

善義堂前為義塾，后列善堂。其義塾常請名師講學(xué)，曾創(chuàng)立河南阿文大學(xué)及阿文教育小班，并教讀四書、五經(jīng)，培養(yǎng)出不少有學(xué)識的哈里發(fā)，學(xué)成后赴全省及西北地區(qū)開帳講學(xué)。民國后將義塾部分改為民生小學(xué)，直到1949年學(xué)校才停辦。

善義堂清真寺曾一度改為工廠，1980年才恢復(fù)宗教活動。