日本国立国会图书馆有两个源流。一是设立于1890年、隶属于旧宪法下帝国议会的贵族院众议院图书馆，另一则是设立于1872年、隶属于文部省的帝国图书馆。其中帝国图书馆经历了自书籍馆（1872）、东京书籍馆（1875）、东京府书籍馆（1877）、东京图书馆（1880）至帝国图书馆（1897）的变迁。1947年改称为国立图书馆。
　　由于帝国图书馆在第二次世界大战前就是接受缴送本的图书馆，因此，其藏书包括了明治以后日本出版的所有出版物，两个图书馆的藏书成为日本国立国会图书馆藏书的重要基础。该馆是以美国国会图书馆为模式建立的，1948年6月5日正式向一般读者开放。
　　国立国会图书馆由中央馆（总务部、调查及立法考查局、收集部、图书部、逐次刊行物部、专门资料部、图书馆协力部）国会分馆、国际儿童图书馆（原支部上野图书馆）、支部东洋文库以及行政司法各部门的35个支部图书馆组成。具体设置机构如下：
　　总务部 下设总务课、企画课、人事课、会计课、厚生课、管理课、情报系统课、关西馆准备室。
　　调查及立法考查局 下设庶务课、综合协调室（下设调查联络课、调查资料课）、法令议会调查室（下设法令议会资料课）、政治议会调查室（下设政治议会课）、行政法务调查室（下设行政法务课）、外交防卫调查室（下设外交防卫课）、财政金融调查室（下设财政金融课）、工商科学技术调查室（下设工商科学技术课）、农林环境调查室（下设农林环境课）、国土交通调查室（下设国土交通课）、文教调查室（下设文教课）、社会劳动调查室（下设社会劳动课）、海外事件调查室（下设海外事件课）。
　　收集部 下设收集企画室、资料协调室、资料保存对策室、收集课、国内资料课、国外资料课、资料保存课。
　　图书部 下设图书整理课、书目课、古籍课、图书阅览课。
　　逐次刊行物部（连续出版物部）下设期刊课、报纸课、复制课、索引课。
　　专门资料部 下设参考课、官厅资料课、政治史料课、科学技术资料课、亚洲资料课、特别资料课。
　　图书馆协力部 下设图书馆研究所、视觉障碍者图书馆协力室、支部图书馆课、国内协力课、国际协力课。
　　国会分馆 下设阅览课。
　　国际儿童图书馆 下设企画协力课、资料情报局。
　　支部东洋文库
　　行政、司法各部门支部图书馆（35馆） 支部会计检查院图书馆、支部人事院图书馆、支部内阁法政局图书馆、支部日本学术会议图书馆、支部内阁文库、支部公正交易委员会图书馆、支部宫内厅图书馆、支部总务厅图书馆、支部总务厅统计图书馆、支部北海道开发厅图书馆、支部防卫厅图书馆、支部防卫设施厅图书馆、支部经济企画厅图书馆、支部科学技术厅图书馆、支部环境厅图书馆、支部国土厅图书馆、支部警察厅图书馆、支部法务省图书馆、支部外务省图书馆、支部大藏省图书馆、支部文部省图书馆、支部厚生省图书馆、支部农林水产省图书馆、支部林野厅图书馆、支部通商产业省图书馆、支部工商技术院图书馆、支部特许厅图书馆、支部运输省图书馆、支部海上保安厅图书馆、 支部气象厅图书馆、支部邮政省图书馆、 支部劳动省图书馆、 支部建设省图书馆、支部自治省图书馆、支部最高裁判所图书馆。
　　国立国会图书馆的组织运营，是由馆长主持、副馆长及各部局长参加的馆务会议对重要事项进行审议、研究、作出决策。对各种专业性、技术性问题、设立常设或临时性的委员会、审议会进行研讨和管理。各部局履行各自的职责，它们是：
　　总务部 为保证全馆业务工作有序正常运行，谋求业务进一步合理化、高效化，规划业务的自动化和强化协调整功能。
　　调查及立法考查局 为国会服务的专门机构。对来自国会的需求作出迅速准确的反应，全面充实和强化调查职能。
　　收集部 强化文献收集职能，有效实施收集计划，完成资料总括登录，将资料送交各部局。
　　图书部 接收、整理加工收集部送来的图书，保管国内外图书，并提供使用。
　　逐次刊行物部 根据连续出版物特点进行整理保管和迅速提供利用。
　　专门资料部 统一整理保管和提供利用科技报告、官厅资料、国际资料和音像、地图等各种专业资料群。参考咨询也是该部的主要业务。
　　图书馆协力部 推进与国内外各种图书馆、图书馆团体的协作和联合。开展对视觉障碍者（盲人）图书馆的服务。
　　国会分馆 设在国会议事堂内，是为国会议员、国会职员及有关人员服务的，它的前身是帝国议会的贵族院众议院图书馆。
　　国际儿童图书馆（原支部上野图书馆） 馆舍利用前帝国图书馆旧址。支部上野图书馆经过改建，成为国际儿童图书馆，2000年5月第1期开馆，2002年建成。
　　支部东洋文库 是根据与财团法人东洋文库的协议，作为日本国立国会图书馆的分馆之一运营的，收藏有丰富的亚洲文献。
　　行政司法各部门的35个支部图书馆 与中央馆既相互联系，又保持相对的独立性。它们各自分担收集资料，协助调查活动，开展业务工作。隶属在政府各省厅和最高裁判所之下，这种支部图书馆制度在世界国立图书馆中是独一无二的。
　　国立国会图书馆馆长由两议院议长在与两议院运营委员会协商之后经国会认可，由议长任命，副馆长由馆长提名，经两议院议长同意后任命。馆长享有国务大臣同等待遇，副馆长享有内阁各省次官的同等待遇。馆长下设1名副馆长。
　　工作人员属于国会职员。新职员每年通过公开考试录用。职员分专门调查员、调查员、参事、司书及其他人员。1999年包括馆长、副馆长在内，共有职员862名。
　　国立国会图书馆的经费全部由国家支付。2000年度的预算为286.38亿日元。全部费用构成比为设施费42%、人力费35.4%、业务情报系统化经费9.4%、图书馆资料收集费5.1%、事务费及其它费用8.1%。
　　日本国立国会图书馆建馆初期的建筑除赤坂离宫外，均分散在各国有建筑内。现在的中央馆馆舍主要是主馆和新馆。主馆于1968年竣工。随着资料的不断增加，业务量增大，1981年开始扩建以书库为中心的新馆，1986年11月建成开馆。
　　主馆总建筑面积为74,911平方米。中间是边长为45米的正方形书库。书库分17层，面积32,185平方米,可收藏450万册图书，书架总长度为172公里。书库四周环设阅览室和办公室。阅览场所8,496平方米, 办公室等34,230平方米。
　　新馆在主馆的北侧，与主馆之间有通廊相连，构成有机的整体。新馆是一座长方形的建筑。地上4层，地下8层，总面积为72,942平方米。书库全部设在地下，共8层，面积为45,861平方米。新书库可容纳750万册图书，书架的总长度为240公里。地面部分西半侧是业务办公室，东半侧是阅览室。新馆设置了4层楼高的大厅，读者在大厅内可看到所有阅览室的位置。阅览场所9,193平方米, 办公室等17,888平方米。
　　主馆和新馆总共占地面积约2.9万平方米，建筑面积14.8万平方米，藏书能力1,200万册。中央馆的主馆和新馆设有16个阅览室对一般读者开放，共有1172个座位。包括第一阅览室（245座）、第二阅览室（187座）、第三阅览室（74座）、一般研究室（69座）、参考图书室（108座）、报纸阅览室（144座）、科学技术资料室（80座）、政府与国际机构资料室（36座）、法令议会资料室（46座）、特种资料室（20座）、地图室（23座）、宪政资料室（25座）、古籍资料室（25座）、图书馆学资料室（33座）、亚洲资料室（37座）、音像资料室（20座）。
　　关西馆（暂称）的建设用地为82,500平方米，总建筑面积约165,000平方米。1998年10月动工兴建，到2002年3月第1期工程完成，面积为59,500平方米，藏书600万册。全面建成后藏书能力达2,000万册。
　　国际儿童图书馆是对上野图书馆的馆舍进行改建后建成的，2000年5月第1期工程完成开馆，建筑面积2,254平方米，其中阅览场所631平方米，办公室等1,623平方米。2002年完成第2期工程，总面积约6,600平方米。
　　日本国立国会图书馆成立于1948年2月，隶属日本国会，是日本的国家图书馆，也是国内最大的公共图书馆。该馆的馆藏丰富，主要收藏宪政资料、法令、议会资料、科技资料、地图资料、音乐资料、古籍图书及亚洲资料等。1998年藏书量为图书688万册，期刊和报纸15万种，缩微胶片612万张，唱片43万张，博士论文32万份，地图40万张。馆内的组织是由中央馆、国会分馆、支部上野图书馆、支部东洋文库以及行政司法各部门的35个支部图书馆构成，现有职员851名。
　　1948年2月9日，日本颁布《国立国会图书馆法》规定该馆"以搜集到的图书及其它资料，在协助国会议员完成公务的同时，对行政和司法部门以及日本国民提供法律上所规定的图书馆服务为目的"。因此，为国会服务是该馆的首要任务，是国会馆服务的重点。
　　在为国会的服务中，国会馆是以调查及立法考查局、国会分馆为中心，在全馆的协作下共同完成的。所提供的服务主要是立法调查服务和图书馆服务。
　　立法调查服务包括委托调查和预测调查。委托调查就是根据国会议员的委托和要求，进行法案及案件的分析、评价，对政治、经济、社会等诸多方面的国政课题和国内外事件、各种制度进行调查，作成法案纲要，提供信息服务等。这种调查在国会馆的立法调查服务中占有很大比重。如1997年度委托调查的事项集中在政治伦理、中央省厅的改组、日美防卫协力指针、金融系统动荡与稳定化对策、产业结构改革及医药事业等问题，总件数为29,553件，其中口头答复2,365件，文献提供（借出、复制等）24,407件，书面答复（调查报告等）2,781件。
　　预测调查就是对未来国会审议的事项进行预测性研究，预先进行调查。对日常性的调查，每年度制定"基本调查业务计划"，并加以实施。1997年度按计划完成的预测调查共计116件。在基本调查业务中，有些重要课题是由多个调查室和课共同完成的。如1996年度开始的"环日本海的区域及经济交流的现状与展望"的调查，计划用3年时间完成。
　　在进行预测调查时，根据需要，调查及立法考查局举行各种"说明听取会"，邀请社会上有关专家发表见解。如在1997年度就举行了15次这样的会议。有针对性地听取专家的论点，成为预测调查过程中不可缺少的一项重要内容。
　　调查及立法考查局出版10种文献，立法调查服务的部分成果刊登在这些出版物上。有月刊《参考咨询》、不定期刊《调查与情报－ISSUE BRIEF-》、双月刊《海外信息指南》、双月刊《国外立法》，分发给国会议员、各政党总部和两院事务局等。另外还编辑《日本法令索引》、《国会会议录总索引》以及宣传资料、工作参考资料等。
　　为了更好地开展立法调查服务，调查及立法考查局不断加强服务的基础建设。除馆内的藏书外，专门收集入藏立法资料、议会资料和法令资料等，作为调查业务之用。引进国内外的数据库，致力于业务信息系统化。开发了国会会议录提供系统。为充实对国会的服务，1996年度开始研制"国会咨询综合系统"。该系统应用最新的信息通讯技术重建调查业务，将国政调查活动中所需要和被预测的情报电子化。计划用3年时间，装备机器设备，实现资料的数据库化和从接受国会咨询到答复的自动化，以使服务更加高效和快捷。
　　为了便于国会议员直接到馆利用馆藏资料进行调查研究，国会馆设置了国会议员专用的阅览室和研究室。议员阅览室设有30个座位，收藏有众、参两院的会议录、委员会会议录、公报、官报、法规等议会及法令资料。各种工具书、地图以及期刊、报纸、本馆的出版物等。由议员著述的图书作为"议员著作文库"也陈列于此，供阅览使用。1997年度利用该阅览室的议员为258人，资料阅览2,661册，对212名议员外借资料884册。
　　议员研究室设有20个个人研究室、3个共同研究室和1个特别研究室。1997年度利用研究室的议员为1,506人。
　　国会馆除提供立法调查服务外，馆内各个部门对国会议员及国会有关人员广泛开展文献的阅览、外借、复制和参考咨询等图书馆服务。以1999年为例，该馆完成委托调查服务29,656件（其中来自国会的委托调查28,573件），预测调查115件。对国会议员、国会人员的图书馆服务为外借资料38,464册，复制7,091件，咨询处理5,339件。
　　国会分馆设在国会议事堂内，因此处在为国会服务的前线。馆内收藏有众、参两院会议录、委员会的会议录、议案等议事资料和以社科为主体的普通图书、各种工具书、国内外期刊及报纸等。它以有利于国政审议的资料和最新的信息为中心，向国会议员及国会有关人员迅速地提供图书馆服务。对新入藏的图书和期刊报纸，编辑发行《新到图书》和《剪报资料•篇目一览》，分发给议员以及政党休息室，以便于利用。近年来由于政治及社会形势呈现多样的变化，要求查询的事项涉及范围广，且需立即作出答复的情况增多。为了满足需求，国会分馆利用馆藏资料、国会馆的各种数据库及外部数据库，迅速准确地进行咨询处理，提供服务。
　　为了协助行政、司法等政府机关完成公务，日本国立国会图书馆向这些部门提供图书馆服务。主要通过设置在各省厅和最高法院内的35个支部图书馆完成。中央馆以图书馆协力部为中心，与各支部图书馆之间形成网络，相互协作。同时也对行政、司法各部门的职员直接提供服务。
　　该服务主要通过参考咨询、资料的阅览、外借等形式提供。对来自行政、司法各部门的咨询，各支部图书馆根据需要，有时要与中央馆和其它支部图书馆开展协作共同进行。中央馆和支部图书馆之间通过馆际互借制度，相互提供方便，以满足需求。1999年度各支部图书馆的利用状况是：咨询处理165,822件（33馆），阅览人数537,886人（33馆）,阅览857,537册（24馆）。
　　该服务分别在中央馆及国际儿童图书馆（原上野图书馆）、支部东洋文库进行。服务的对象包括各类图书馆、地方公共团体、调查研究机构、企业等，学术研究及其他人员，不问国籍，任何人都可到馆阅览，利用资格为20岁以上的成人。国际儿童图书馆主要读者为18岁以下的未成年人。
　　根据该馆的规定，除国会议员和国会人员外，馆藏资料不直接外借给个人，只能在馆内阅览，但可通过各公共图书馆、大学图书馆和专业图书馆与日本国立国会图书馆互借，间接地借阅使用。对一般读者开放的阅览场所，其中有些在使用时有一定的限制和需办理特殊的手续，如一般研究室、宪政资料室、古典籍资料室、音像资料室等。
　　该馆对一般读者的服务分为对来馆型读者和非来馆型读者的服务。其服务内容是：对来馆读者，提供阅览、复制、参考咨询等，对不来馆者，解答电话或书面形式的咨询，向图书馆出借文献、邮寄复制资料等。为了更加有效地对非来馆读者提供服务，1997年开始使用日本国立国会图书馆的ILL系统进行馆际互借、受理邮寄复制资料的请求。
　　据1999年度统计，中央馆借出资料（馆际互借）11,976册，对非来馆读者经邮寄、电传受理的资料复制30,557件，电话咨询66,703件，书面咨询53,371件。
　　1999年全年开馆232天，来馆读者人数419,880人，日平均读者人数1,810人。对来馆读者提供阅览的资料，图书出纳台提供503,073种，期刊出纳台提供961,725种，12个专门资料室提供416,925种。另外，复制资料298,254件，咨询解答183,391件。

阅览室

　　日本国立国会图书馆自1975年开始制作馆藏学术文献的录音磁带，可通过盲文图书馆进行借阅。1981年开始发行《盲文图书•录音图书全国联合目录》。为促进馆内外资料的利用，还编制了数十种书目、索引和专题目录。
　　日本国立国会图书馆具有双重职能。它既是日本的国家图书馆，也是国会的图书馆。《国立国会图书馆法》明确指出该馆"以搜集到的图书及其它资料，在帮助国会议员完成公务的同时，对行政和司法部门以及日本国民提供法律上所规定的图书馆服务为目的"，由此规定了国立国会图书馆服务的对象为：国会议员、政府机关、普通国民。为国会服务居首要位置，是它服务的重点。
　　国立国会图书馆是唯一法定接受缴送本的图书馆，它收集的国内出版物作为日本的文化遗产将进行永久性的保存，因此同时具有保存图书馆的作用。在信息化的社会中，作为国家的文献信息中心，对来自国内外各方面的需求，提供迅速准确的服务。