舊上海市圖書(shū)館位于黑山路181號，采用的是現代建筑與中國建筑之混合式樣。處于行政中心南北主軸線(xiàn)上位于府前右路與府南有路之間，座西向東，與博物館相對。平面為“工”字型，前部?jì)啥藱M展向前突出，與午門(mén)相似。總面積3，470平方米，而且還為將來(lái)留有擴建余地，容量可增加一倍。
圖書(shū)館中央正面設計了門(mén)樓，屋脊最高處約25米。一層中央為入口大廳，依次是報紙閱覽室，書(shū)庫，左翼為辦公室，右翼為兒童圖書(shū)室，演講廳。二層為閱覽室、借書(shū)室和目錄室。左右翼為研究室和特別閱覽室。二層中央前部上有夾層，為儲藏室，由此可通過(guò)露天階梯登門(mén)樓。圖書(shū)館在設計上防傳統門(mén)樓，在平頂的兩層建筑上，設置“中國固有形式”的重檐歇山門(mén)樓。左右對稱(chēng)，具有新古典主義縱橫三段式構圖的特征。室內采取紅柱、彩畫(huà)的傳統風(fēng)格。
舊上海市立圖書(shū)館是區級文物保護單位文物保護單位。2014列為市級文物保護單位文物保護單位。