临江钟楼，素与谯楼相媲美。始建年代不详。清咸丰七年(1857)与谯楼同毁。光绪十五年春至十六年秋(1889-1890)，知府王绍海重新修复，并作《建复郡城钟楼碑记》曰：“楼凡四层，共高七丈四尺，地基东至西计十二丈，南至北计六丈八尺。第一层供奉白衣大士像，颜曰：‘观音阁’，仍旧名也。二层、三层，轩窗四面，面面玲珑。四层上悬铜钟，直插云端，与谯楼对峙，岩岩然，气象万千，朝暮钟声轰轰然，隆隆然，上彻霄汉。楼旁为客厅，为书室，为僧舍，为庖厨，靡下宾宾然，秩秩然，胪分殊事，增夺益夫规。”该楼于1942年遭日本飞机轰炸，楼体倾斜，后拆毁上部，仅留下楼基观音阁，铜钟和《碑文》现存万寿宫。在原钟鼓楼建筑基址上，同年10月竣工，基本恢复钟鼓楼原貌。