1927年,广州市长林云陔为纪念孙中山,促进文化事业,提议举办市立中山图书馆。经市行政会议决定规划筹办。同年,派出募捐专员赴美国、古巴、加拿大、墨西哥,得华侨踊跃捐赠。 
1928年,成立广州市立中山图书馆筹建委员会,林云陔、杜定友等十六人为委员。 
1929年,市立中山图书馆在文德路原广府学宫破土动工。 
1933年10月15日,市立中山图书馆落成开幕,伍智梅任首任馆长。 
1934年,省图书馆被撤销,其藏书33500册由市馆接收。 
1938年,广州沦陷,市立中山图书馆停办。 
1945年,抗战胜利,杜定友兼任市立中山图书馆复办筹备处主任。 
1949年,改称广州市立中山图书馆。 
广州解放后,称为广州中山图书馆。 
1955年,省、市两馆合并为广东省中山图书馆。原广州市立中山图书馆馆址改为广东省中山图书馆北馆,称孙中山文献馆。 
1980年12月,广州市委办公会议决定筹建广州图书馆。 
1981年1月,广州市文化局宣布广州图书馆筹备小组成立和将“星火燎原馆”改为广州图书馆馆址的决定。 
1982年1月2日,广州图书馆举行开馆典礼。
2004年10月,广州市发展计划委员会正式批复,同意广州图书馆新馆建设项目立项。 
2004年10月至2005年1月,广州图书馆新馆国际邀请建筑设计竞赛面向全球征集最佳设计方案。
2006年2月20日,广州图书馆新馆正式奠基。
2012年12月28日,广州图书馆新馆正式部分开放。
2013年6月23日,广州图书馆新馆全面开放。