在中国古代，虽然没有近现代意义上的图书馆，但是藏书机构却早已有之。据文献记载，周代的藏书机构叫“藏室”，而据《史记》记载，古代思想家老子就担任过周代的“守藏室之史”，相当于现在的图书馆馆长。
　　春秋时代，诸子百家著书甚多，当时，各诸侯国把藏书之处称为“府”或“藏”。
　　西汉初年，随着官家藏书逐渐增多，高祖刘邦令萧何收集秦朝官方所藏图书，建立了第一所“国家图书馆”——石渠阁。后来，又建立了天祿阁，用来收藏各地文献图书。武帝时，宫廷内外都设有藏书处所。学者刘向奉皇帝之命对天禄阁的藏书进行校正整理，并写了内容提要。他死后，其子刘歆在他研究的基础上编出了第一部国家藏书目录《七略》。
　　到东汉时，朝廷设有最大的“图书馆”——兰台，并设校书郎负责管理。著名史学家班固曾任“兰台史令”，写出历史名著《汉书》。班固还根据国家藏书，编成华夏第一部“书志学”——《汉书艺文志》，后人誉之为“不通《汉书艺文志》，不可读天下书”，说明这部书对学习研究有很大的指导意义。
　　魏晋时代，社会动乱，但图书搜集、整理仍有推进。魏秘书郎郑默曾对皇家藏书进行校定、整理，编出了《中经》（国家藏书目录），开创了图书分类上的“四分法”。晋元帝时，著作郎李充造《四部目录》，确立了经、史、子、集四分法体系，一直沿用了1000多年。
　　隋文帝时期，秘书监（相当于国家图书馆馆长）牛弘还派人到民间先后搜集了3万余卷书籍。隋代还在东都建立观文殿，下诏访求书籍，积累了丰富的藏书。
　　唐代，随着雕版印刷术的发明，图书进入了大发展时期，藏书机构不断扩大，书籍也更加丰富。唐代时，拥有丰富藏书的藏书机构有弘文馆、崇文馆。崇文馆是当时最著名的藏书机构，著名史学家刘知几曾任该馆学士。
　　宋代出现了活字印刷，图书出版数量不断增加，并出现了多种大型书（如《太平御览》《永乐大典》《古今图书集成》等）。北宋初年，最大的藏书机构是史馆、昭文馆、集贤馆三馆，宋太祖时藏书4万多卷。随着收藏图书的增多，宋太宗时期修建了新的三馆，并赐名“崇文院”，当时藏书量达8万多卷，后在崇文院里建了密阁，收藏历代名家书画墨迹。
　　明清时期，紫禁城里的文渊阁、皇史宬等处收藏文献古籍。清代在大型丛书《四库全书》编成后，还在全国各地修建了收藏《四库全书》的馆阁，它们和紫禁城的文渊阁合称“七阁”（文渊、文津、文源、文溯、文宗、文汇、文澜）。
　　随着印刷术的发明和应用，从宋代开始，民间刻书事业发展起来，私人藏书比以前更多了。明代从事刻书的著名人物之一毛晋，其私人藏书多达8万多册，所藏建筑叫汲古阁，大部分是宋元刻本。
　　明代范钦的藏书楼——天一阁是现存最老的私人藏书机构，建于嘉靖末年，在宁波月湖之西。原有藏书7万多卷，其中包括明代地方志和登科录等，现被列为重点文物保护单位。值得一提的是，清代珍藏《四库全书》的几座馆阁，都是以天一阁为模板修建的。