Історія архіву починається з організації у листопаді 1925 р. Сумського окружного архівного управління. З кінця 1930 р. Сумське місцеве архівне управління. З 1 березня 1932 р. на його базі створено Сумський державний історичний архів як науково-дослідницьку установу з підпорядкуванням Харківському обласному архівному управлінню.

10 січня 1939 р. Указом Президії Верховної Ради СРСР була створена Сумська область, до складу якої увійшли 12 районів Харківської, 17 районів Чернігівської та 2 райони Полтавської областей. Згідно з Постановою оргкомітету Президії Верховної Ради УРСР по Сумській області від 25 січня 1939 р. створено обласне архівне управління НКВС. Сумський обласний державний історичний архів перейшов у безпосереднє його підпорядкування.

На підставі «Положення про Державний архівний фонд СРСР і мережу державних архівів» 1941 р. Сумський обласний історичний архів перейменовано на Державний архів Сумської області, а державні історичні архіви в містах Глухові, Конотопі, Ромнах перетворено на його філіали. На 1 січня 1941 р. в архіві було сконцентровано 1594 фонди, 295 227 од. зб.

З початком нацистської окупації окремі документи фондів Державного архіву Сумської області (246 фондів, 5213 од. зб.) та Глухівського філіалу (10 тюків, 1750 од. зб.) були евакуйовані до селища Алга Актюбинської області, але найцінніші документи (XVII–XIX ст.) лишилися напризволяще. За період Великої Вітчизняної війни загинуло 253 272 од. зб. Державного архіву Сумської області, 70000 од. зб. Конотопського філіалу, документальна база Глухівського філіалу (крім евакуйованої частини) була знищена повністю.

4 жовтня 1958 р. Постановою № 418 Рада Міністрів УРСР затвердила мережу державних архівів України, при цьому Державний архів Сумської області перейменовано на Сумський обласний державний архів.

У грудні 1969 р. введено в експлуатацію нове приміщення архіву області місткістю 1 200 000 од. зб. Це дало можливість упродовж 1971–1972 рр. ліквідувати його філіали у Конотопі та Ромнах.

Згідно з наказом ГАУ при РМ УРСР від 7 серпня 1980 р. № 67 Сумський обласний державний архів перейменовано на Державний архів Сумської області.

З ліквідацією архівного відділу облвиконкому відповідно до постанови Верховної Ради УРСР від 26 липня 1988 р. функції управління архівною справою на території області були передані Державному архіву області.