En 1927, le maire de Guangzhou, Lin Yungai, proposa d'accueillir la bibliothèque Zhongshan de la ville pour commémorer de Sun Yat-sen et promouvoir les activités culturelles. La réunion de l'administration de la ville décida de planifier et d'organiser. La même année, un commissaire chargé de la collecte de fonds fut envoyé aux États-Unis, à Cuba, au Canada et au Mexique, et les Chinois d'outre-mer firent un don.

En 1928, le comité de préparation de la bibliothèque Guangzhou Zhongshan fut établi, et 16 personnes, dont Lin Yungai et Du Dingyou, en étaient membres.

En 1929, la bibliothèque municipale Zhongshan fut inaugurée dans l'ancienne Académie Guangfu de Wende Road.

Le 15 octobre 1933, la bibliothèque Zhongshan de la ville fut achevée et Wu Zhimei en fut le premier directeur.

En 1934, la bibliothèque provinciale fut révoquée et 33 500 livres furent récupérés par la mairie.

En 1938, Guangzhou entra en guerre et la bibliothèque Zhongshan de la ville fut fermée.

En 1945, lors de la victoire de la guerre anti-japonais, Du Dingyou servit également de directeur du bureau préparatoire à la reprise de la bibliothèque Zhongshan de la ville.

En 1949, elle fut rebaptisée Bibliothèque Guangzhou Zhongshan.

Après la libération de Guangzhou, elle s’appela la bibliothèque Zhongshan de Guangzhou.

En 1955, les pavillons provincial et municipal fusionnèrent dans la bibliothèque Zhongshan de la province du Guangdong. L'ancienne bibliothèque Zhongshan de la municipalité de Guangzhou fut remplacée par la bibliothèque Nord du hall Zhongshan de la province du Guangdong, appelée bibliothèque Sun Yat-sen.

En décembre 1980, le comité du parti municipal de Guangzhou décida de créer la bibliothèque de Guangzhou.

En janvier 1981, le bureau municipal de la culture de Guangzhou annonça la création du groupe préparatoire de la bibliothèque de Guangzhou et la décision de remplacer le « musée Xinghuoliao » par la bibliothèque de Guangzhou.

Le 2 janvier 1982, la bibliothèque de Guangzhou organisa une cérémonie d'ouverture.

En octobre 2004, la Commission de planification du développement municipal de Guangzhou approuva officiellement le projet de construction d’un nouveau bâtiment pour la bibliothèque de Guangzhou.

D'octobre 2004 à janvier 2005, le nouveau hall de la bibliothèque de Guangzhou organisa le concours de design d'architecture pour rassembler les meilleures solutions de design à l’échelle internationale.

Le 20 février 2006, le nouveau hall de la bibliothèque de Guangzhou fut officiellement inauguré.

Le 28 décembre 2012, le nouveau hall de la bibliothèque de Guangzhou fut officiellement ouvert.

Le 23 juin 2013, le nouveau hall de la bibliothèque de Guangzhou fut complètement ouvert.