1927年、元広州市長の林雲陔氏は、孫中山を記念して文化事業を促進するために、市立中山図書館の建設を提案しました。広州市行政会議を経てその建設準備が決定されました。同年、募金募集の専門担当者をアメリカ、キューバ、カナダ、メキシコに派遣し、華僑から積極的な寄付を受けました。
1928年、広州市立中山図書館建設準備委員会が設立され、林雲陔、杜定友等十六人が委員を務めました。
1929年、市立中山図書館は文徳路原広府学宮で着工しました。
1933年10月15日、市立中山図書館が開館し、伍智梅が初代館長を務めました。
1934年、省図書館が撤廃されることにより、市立図書館はその33500冊の蔵書を受け取りました。
1938年、広州の陥落により、市立中山図書館が閉館されました。
1945年、抗戦勝利後、杜定友氏は市立中山図書館再開準備所の主任を兼任しました。
1949年、広州市立中山図書館に改称しました。
広州解放後、広州中山図書館に改称しました。
1955年、省市両館が合併し、広東省中山図書館を設立しました。元広州市立中山図書館の旧址は広東省中山図書館北館として、孫中山文献館と称されています。
1980年12月、広州市共産党委員会弁公会議で、広州図書館の建設準備が決定されました。
1981年1月、広州市文化局は広州図書館準備グループの設立、並びに「星火燎原館」を広州図書館の住所に改めることを発表しました。
1982年1月2日、広州図書館の開館式が行われました。
2004年10月、広州市発展計画委員会は広州図書館新館建設プロジェクトの立案に同意することを正式に承認しました。
2004年10月から2005年1月まで、広州図書館新館の国際招待建築デザインコンテストが世界に向けて最優秀デザインプランを募集しました。
2006年2月20日、広州図書館新館の定礎式が行われました。
2012年12月28日、広州図書館新館の一部が正式にオープンされました。
2013年6月23日、広州図書館新館が全面的にオープンされました。