Izglītības iestāde dibināta 1932.gadā 8. oktobrī kā Rēzeknes Tautas konservatorija. 1944.g. Rēzeknes Tautas konservatorija tiek pārdēvēta par Rēzeknes mūzikas vidusskolu un par tās struktūrvienību kļūst bērnu mūzikas skola. 1949. - 1956.g.darbojās tikai Rēzeknes bērnu mūzikas skola. 1956.g. atsāka darbu mūzikas vidusskola. 1984.g. mūzikas vidusskolai piešķīra komponista Jāņa Ivanova vārdu. Ar LR Kultūras ministrijas 1992.g.18.06. pavēli Nr. 149 vidusskola tiek reorganizēta par Jāņa Ivanova Rēzeknes mūzikas koledžu. Ar LR Kultūras ministrijas 2002.g.1.februāra rīkojumu Nr.19 iestāde ieguva tagadējo nosaukumu - Jāņa Ivanova Rēzeknes mūzikas vidusskola