Подальше удосконалення адміністративно-територіального поділу, ліквідація губерній і створення в Україні округів, привело і до реформування архівної системи. Вже в червні 1925 p. PHK УСРР затвердила структуру і штати Укрцентрархіву, його установ і окружних архівних управлінь. Окружне архівне управління (окрарх) в Сумах було створене на початку листопада 1925 p. Саме з цієї дати починається історія Державного архіву Сумської області.

Створене в Сумському окрузі архівне управління, як і Глухівське, Конотопське та Роменське, не обмежувалося управлінськими функціями. Основними напрямками діяльності окрархів на Сумщині було виявлення волосних архівів, архівів ліквідованих установ, упорядкування архівних фондів, утилізація документальних матеріалів, створення газетного фонду. Багато уваги приділялося розшуку документів, які висвітлювали розвиток нинішньої Сумщини до 1917 p. та у 20-ті pp., але в згарищах Жовтневої революції та громадянської війни назавжди були втрачені архіви місцевих поміщиків Алферових, Рахманових, Толстих, Золотницьких, Міклашевських, Корсакових та Голіциних, де зберігалися оригінали цінних історичних документів, наприклад, грамот Петра І. Був знищений архів поміщиків Линтварьових, в якому зберігалися листи А. П. Чехова, крім того, в родинному архіві знаходилися давні акти та договори з 1783 p. Практично загинув надзвичайно цінний архів графа Капніста з документами гетьмана Полуботка. Великих втрат зазнали монастирські та церковні архіви Державний архів Сумської області / під ред. Р. Пирога, Л. Покидченко. – Суми; К., 2002. – С. 14-15. .

У цей же час до Сумського окрарху надійшли документи установ, що діяли на території Сумщини до встановлення радянської влади: Сумської земської управи, Сумських міської управи та думи, церковні архіви, архіви Головної контори та економій цукрового короля Сумщини І. Г. Харитоненка та інші.

У 1926 p. в архіві зберігалося 152 фонди та більш ніж 300 прим. газет. Після отримання нового приміщення робота по концентрації архівних матеріалів активізувалася. На 1 січня 1929 p. в окрарху зберігалося вже 162 фонди Архівні установи України / під ред. О. С. Онищенка, О. І. Алтухової. – К., 2000. – С. 112. .

1930 p. почалася підготовка до реорганізації системи архівного управління в зв'язку з ліквідацією округів. Вона мала проводитися за двома напрямками: 1) ліквідація окремих окрархів, що мали небагато архівних матеріалів; 2) реорганізація окрархів. У червні 1930 p. до всіх окрархів надійшло розпорядження про реорганізацію їх з 1 жовтня 1930 p. у міські архівні управління. При всіх райвиконкомах планувалося створити районні архівосховища.

При проведенні адміністративно-територіальної реформи ліквідовувалася велика кількість окружних установ. Треба було забезпечити збереженість архівних матеріалів та їх своєчасне передавання архівним органам. Тому Секретаріат ВУЦВК (Всеукраїнського центрального виконавчого комітету) ще в червні 1930 р. у зверненні до окрвиконкомів встановив чіткий порядок приймання архівних матеріалів. Вони мали передаватися за описом в упорядкованому стані. Окрархи мали надавати приміщення для архівних документів. Останні вимоги на місцях виконувались дуже слабо. Архівні матеріали зберігалися в не пристосованих для цього приміщеннях, свідомо знищувалися. Так, наприклад, Шосткинський РВК замість упорядкування цілком продав колишній фонд Казначейства (близько 550 пудів) на паперову фабрику, а в Полтавському окрвійськкоматі інспекторів окрарху зустріли словами: "Впорядковувати архіви не будемо, а просто спалимо" Чиркова М. Ю. Утилізація архівів та стан архівної справи у 20-х рр. // Українське архівознавство: історія, сучасний стан та перспективи. – К., 1997. – Ч. 1. – С. 138. . Не краще складалася справа із новими приміщеннями під архівосховища, яких було відведено дуже мало. Третина місцевих архівів зовсім не одержала під час ліквідації окружних установ додаткових приміщень.

12 серпня 1930 р. Секретаріат ВУЦВК констатував: "Досвід ліквідації 13 округів показав, що, не дивлячись на досить точні і своєчасні директиви... більшість ліквідованих установ цих колишніх округів передали свої архіви в невпорядкованому й навіть хаотичному стані. Досить частими є випадки, коли установи передали свої архівні матеріали як утильматеріал..." Там само. . На цьому тлі концентрація і впорядкування документів організацій Сумським архівом мало значні успіхи: станом на 20 березня 1931 р. у Сумському архіві були сконцентровані документи 75% ліквідованих окружних Государственные архивы Украинской ССР / под ред. А. Г. Митюкова. – К., 1988. – С. 178. .

Уже на початку 1931 p. усе яскравіше виявлялися недоліки місцевих архівних управлінь. Їх організація не наблизила архівної справи до районів, як планувалося, а, навпаки, віддалила її. Мережа 128 місцевархів замість 40 окрархів була недостатньою для належного обслуговування всієї території УСРР.

Тому постало питання про нову систему архівних установ, яка мала включати широку мережу районних архівосховищ і державних історичних архівів. У зв'язку з цим 10 листопада 1931 p. ВУЦВК ухвалив замість місцевих архівних управлінь, їхніх філій та крайових історичних архівів створити таку систему архівних установ, яка включала б центральні та державні історичні архіви у колишніх окружних центрах, а також міські та районні архівосховища. Ця реорганізація планувалася з 1 березня 1932 p.

З переходом у лютому 1932 p. на триступеневу систему управління в УСРР утворювалися області. Тому питання про систему архівних установ знову розглядалося на засіданні Секретаріату ВУЦВК 26 лютого 1932 p., де було вирішено поряд з історичними архівами, міськими і районними архівами створити обласні архівні управління.

Обласні архівні управління приступили до організації обласних історичних та районних і міських державних архівів. У квітні 1932