Ғылыми кітапхананың тарихы 1932 жылы ССРО Ғылым академиясының   Алматыдағы  Қазақстандық  базасының алғашқы  ғылыми бастауыш ұйымының  ашылуымен басталды. Құрамында  зоологиялық және ботаникалық екі секторы болды.

Ғалымдардың сыйға тартқан  2,5 мың  дана кiтаптары  Калинин  көшесiндегi (қазiргi Қабанбай батыр көшесі) шағын ғимараттың бiрнеше бөлмелерiнде  орналастырылды.  Кiтапхана осында ширек ғасырдан астам өмір сүрді.

1938 жылы  Қазақстандық база ССРО ҒА Қазақ филиалы болып өзгертілді. Кiтапхана қорының саны  30 мың данаға жетіп, штаты 4 адамнан тұрды.

1946 жылы Қазақ ССР  Ғылым Академиясының құрылуымен кітапхана Орталық ғылыми кiтапхана статусын алды. Кітапхана  дамуының  және ғылыми деңгейінің маңыздылығын анықтаудың басында  ҚазССР Ғылым Академиясының бірінші Президенті Қаныш Имантайұлы Сәтбаев тұрды. Осы кезеңнен бастап Орталық  ғылыми кітапхананың қалыптасу, дамуының  жаңа және негізгі кезеңдері басталды.   

1947 жылдан бастап ғылыми-зерттеу мекемелерінің тақырыптары бойынша міндетті ақылы  басылымдар және Москва, Ленинград, Рига, Львов, Ташкенттің ірі кітапханаларының дублеттік қорларынан да кітаптар алына бастады.

ҚазССР ҒА бiрiншi  президентi Қ.И. Сәтбаевтың бастамасымен атақты ғалым-академиктер В.Л. Комаров, А.Д. Архангельский,  Н.С. Курнаков және  Д.К. Зелениннің  жеке кiтапханалары  алынды. Бұл  ғылыми  құнды кітапханалар  ОҒК  қоры сапасының маңыздылығын  арттырды. 1950 жылға  қарай кiтапхана қоры    152 мыңға  дейiн  жетіп, екi есе көбейді.

1946-59 жж.  зоология, химия, геология, астрофизика, металлургия, кен байыту, ботаника және т.б. ғылыми-зерттеу институттарында ОҒК алғашқы бөлімшелері   пайда бола бастады. Ғылым Академиясың алғашқы жаратылыстану секторларының құрылуы Орталық ғылыми кiтапхананың қорын жинақтау бағытын ұзаққа белгіледі.

50-ші жылдары ОҒК-ның библиографиялық қызметi    қарқынды жүре бастады. ҚазССР Ғылым Академиясы басылымдарының бес жылдық (1945-1950) алғашқы көрсеткiшi шықты.

1951 жылдан бастап  8 халықтық- демократиялық мемлекеттің ғылыми мекемелерімен , сондай-ақ Англия және Франциямен Халықаралық кітап алмасу (ХКА) орнатылды. ОҒҚ үшін Халықаралық кітап алмасудың құрылуы және дамуы халықаралық байланыстың  бір түрі – отандық ғылымды насихаттаудың әдісі , шетел әдебиетін валютасыз алудың дереккөзі болып табылады.

Осы жылдары кітапханада шетел әдебиеті бөлімі (1956)  және қазақ әдебиеті, сирек кітаптар мен қолжазбалар бөлімі (1959) ұйымдастырылды. Осы кезеңде кітапханада қазақ тіліндегі  әдебиеттер, әсіресе өткен жылдар басылымдары аз болды, ал Қазақстанның мерзімді басылымдары болмады. Бөлімдердің құрылуы шетелдік ғылыми басылымдар мен  ұлттық әдебиеттерді жинақтап, оны оқырмандар арасында  насихаттау жұмыстарын  жолға қоюға, сондай-ақ ғылым үшін үлкен құндылығы бар сирек басылымдарды сақтауды қамтамасыз ету үшін аса қажет болды.

1958 жылы  кiтапхана Академиямен бiрге  жаңа, қазiргi ғимаратқа көштi. Ғалымдар мен мамандардың жұмыс істеуіне қолайлы мүмкіндік туып, 100 орындық 2 оқу залы ашылды және абонемент пен каталогтар бөлмелері кеңейтілді.

1979 жылы негізгі кітап қоймасына  жалғастырылып  тағы бір павильонның  салынуы  кітап қорын жинау, әдебиеттерді өңдеу, қорларды сақтау  және т.б. қызмет көрсету бөлімдерінің қызметкерлеріне де жақсы жағдай тудырды. Микрофильмдермен  мен фотокөшiрмелер жасайтын лаборатория, ағаш шеберлiгi мен кітап түптеу шеберханалары ашылды.  Кiтапхана ұжымында  148  қызметкер жұмыс жасады.

Заманымыздың 60-80 жылдары Орталық ғылыми кітапхана ҒЗЖ және ҒӘЖ үйлестірілген жоспарына сай   еліміздің ірі кітапханаларымен тығыз байланыста болды. ОҒК халықаралық, бүкілодақтық, республикалық ғылыми конференцияларға қатыса бастады. АҚШ, Канада, ҚХР, Жапония, Франция, Германия және т.б.шетелдік кітапханалармен байланысы белсенді түрде дамыды.

1983 жылдан  Орталық ғылыми кітапхана,  республикадағы  кiтапханалардың алғашқыларының бiрi болып, кiтапханалық-ақпараттық процестердi автоматизациялауды енгiзудi  қолға алды. Қазақстан Ғылым академиясының ғылыми-зерттеу мекемелерінің абоненттерін автоматтандырылған  ИРИ жүйесі тәртібінде  ВИНИТИ дерек қорымен қамтамасыз етті. Кітапханада  АЖ «Ретроспективті ізденіс», АЖ «Библиография», АЖ «КАА»  жұмыс істеді.

1990 жылдар  басында ОҒК-ны комплекстік автоматизациялау мәселелері туындады. 1994 ж. кiтапхана автоматтандырылған кiтапханалық-ақпараттық (АИБС) МАRC-SQL жүйесiмен жұмыс жасай бастады. ОҒК электронды  катологты, өзiнің ақпараттық өнімдерін тақырыптық деректер базасы түрінде құруды қолға алды. 

90 жылдары  Қазақстан Республикасының мемлекеттiк тәуелсiздiк алуына негізделген жаңа социомәдени жағдай, кiтапхананың әлеуметтiк және функционалдық шеңберiндегi қызметiн кеңейтті.   

1996 ж. ОҒК–ТМД  Ғылым Академиясы Халықаралық Қауымдастығының және Балтия елдерінің (ҒАХҚ) мүшесі.

1998 ж.  ОҒК– Қазақстан Республикасы Кітапханалар Қауымдастығының мүшесі.

1999 жылы 17 шiлдеде  Қазақстан Республикасы үкiметiнiң қаулысымен  Орталық ғылыми кiтапхана Мемлекеттiк республикалық қазыналық мекеме,  Қазақстан Республикасы Бiлiм және ғылым министiрлiгi “Орталық ғылыми кiтапхана” болып  аталды. ОҒК даму динамикасы  өткен дәстүрiне сүйене отырып, дамудың жаңа жолдарын iздеудi,  шаруашылықтың жаңа түрлерiн үйлестiрудi  көздедi.

2001ж. ОҒК – Қазақстан кітапханаларының Ақпараттық Консорциуымын  құрушыларының  бірі.

2012 ж.  ҚР БҒМ ҒК «Ғылым ордасы» РМК  Ғылыми кітапханасы  болып өзгертілді.