Samostatnou činnost v rámci knihovny oddělení zahájilo v roce 1923 pod vedením filologa a hudebního skladatele Ladislava Vycpálka (1882–1969). Ten se zasadil o uložení hudebnin dotud rozptýlených ve fondu celé knihovny do samostatného hudebního oddílu pod signaturou začínající číslem 59 a o jejich řádnou katalogizaci. Následně dbal o to, aby byly do knihovny řádně dodávány povinné výtisky hudebnin a řadu nedodaných zpětně získal.
Již v roce zahájení činnosti samostatného oddělení byly založeny i sbírky notových rukopisů a rukopisné korespondence významných osobností hudební kultury. Za vedení jeho nástupkyně Marie Svobodové (1908–1995), jež funkci převzala v roce 1945, získalo oddělení studovnu (tzv. Starý matematický sál Klementina), v níž byla založena příruční knihovna. Již v roce 1956 se Československá republika z iniciativy Hudebního oddělení Národní knihovny (tehdy Státní knihovny ČSR) zapojila do činností mezinárodní organizace IAML (International Association of Music Libraries, Archives and Documentation Centres – Mezinárodní sdružení hudebních knihoven, archivů a dokumentačních středisek), založené v Paříži roku 1951. Spolupráce byla navázána především v předním projektu této organizace – v projektu RISM (Répertoire International des Sources Musicales – Mezinárodní soupis hudebních pramenů), zahájenému v Paříži v roce 1952. V roce 1971 byla ustavena Československá národní skupina IAML. Zřejmě díky iniciativě Svobodové přešla pod správu Hudebního oddělení unikátní kolekce knihovny – tzv. Mozartův památník. Institut první mozartovské sbírky na světě, pietně umístěné v Klementinu, vznikl již v roce 1837 při příležitosti 50. výročí světové premiéry Mozartova Dona Giovanniho v Praze.
Od roku 1965, kdy vedení oddělení převzala Jarmila Brožovská (1927–1994), byl v Hudebním oddělení v rámci akce ústředního soupisu hudebních pramenů na území naší republiky budován tzv. Souborný hudební katalog. Jeho úkolem, souvisejícím s posláním RISM, bylo zmapovat dochované historické hudební památky na našem území. Na mnoho let se stala hlavní výkonnou silou tohoto jedinečného projektu české muzikologie Jitřenka Pešková (1930–2006), která v letech 1977–1989 zastávala funkci vedoucí Hudebního oddělení. Shromážděné informace v Souborném hudebním katalogu podnítily založení odborně zaměřené ediční řady Národní knihovny (tehdy Státní knihovny ČSSR) s názvem „Catalogus artis musicae in Bohemia et Moravia cultae“, kde jsou publikovány tematické katalogy jednotlivých významných chrámových i světských sbírek dochovaných na našem území.
V průběhu 70. let minulého století se začala úspěšně rozvíjet vydavatelská činnost oddělení i v oblasti metodiky, katalogizace a bibliografie.
Mezi lety 1989 a 1997 zastával funkci vedoucího oddělení Julius Hůlek (*1947). Ten v letech 1980–1998 předsedal České národní skupině IAML a na poli mezinárodní spolupráce zastával v letech 1989–1992 funkci viceprezidenta IAML.
Od roku 1997 do června 2023 vedla oddělení Zuzana Petrášková (*1948), která nepřetržitě od roku 1989 koordinovala práce pro soupis hudebních pramenů RISM za Českou republiku. V letech 1999–2005 byla předsedkyní České národní skupiny IAML. V roce 2016 získala Medaili Z. V. Tobolky za zásluhy.