Наприкінці 1904 р. Яків Павлович взяв активну участь у підготовці до відкриття нової міської бібліотеки й навіть ввійшов до її правління від повітової думи. Заснованій бібліотеці вкрай необхідно було окреме приміщення, але його не вдалось знайти. Лише завдяки великій увазі з боку міської влади бібліотеку розташували в одному з кутів залу засідань думи. Тому робота культурного закладу обмежувалась тільки вечірніми, коли не було засідань, годинами. Через нестачу коштів правління бібліотеки вирішило приваблювати відвідувачів по можливості більшою передплатою газет і журналів різних напрямків, як російською, так і іноземними мовами. На другий рік існування бібліотеки її правління звернуло увагу на поповнення видань наукового змісту і на придбання журналів з літературними додатками. Залишається нез'ясованим, чи дарував Новицький свої книги міській бібліотеці, але широко відома його допомога подібним закладам.

Коли навесні 1902 р. в Катеринославі відкрився історико-археологічний музей, який отримав ім'я відомого колекціонера та археолога О. Поля, Новицький, як член його правління за вибором Олександрівської думи, взявся за збирання експонатів, добутих під час археологічних розкопок, знайдених або придбаних іншим шляхом. Ця робота особливо пожвавилась після обрання (в 1905 р.) директром музею Д.І. Яворницького. Про розмір допомоги Я.П. Новицьким у придбанні Катеринославським історико- археологічним музеєм ім. О. Поля предметів матеріальної культури населення Південної України свідчить музейний каталог, виданий в 1910 р. [4]. Серед цінних речей, подарованих Яковом Павловичем, значаться: посуд неолітичного часу; знахідки греко- скіфської епохи і серед них невеличка посудина з чорної глини; залізна сокира з коротким і широким лезом, знайдена на піщаних горбах біля Мініховських укріплень на о. Хортиця. З історичних старожитностей XVII - XVIII ст.: костяний набалдашник у вигляді голови потворного старця; два залізні стремена різних зразків; нашивка, складена з 15 мідних ґудзиків (військового зразка); пряжка; два кусочки мідних прикрас; три ремінці та кусочки зеленого й жовтого сукна. З переданих Новицьким до музею речей з часів козаччини слід відзначити велику кількість люльок і серед них особливий подарунок - дерев'яну люльку військового товариша - Івана Новицького (пращура Якова Павловича); приладдя для набивання і прочищення люльок; картину "Козак Мамай", мальовану олійними фарбами. З культових речей виділялись дві ікони західного стилю, писані у 1782 р. На них зображені Георгій Побідоносець та апостол

Андрій Первозваний. Серед інших речей згадуються: частина дерев'яного іконостасу із зображенням у західному стилі Благовіщення; різьблений, досить тонкої роботи, у срібній визолоченій оправі, кипарисовий хрест з таким же підніжжям та інше.

ХХ ст. позначилось для Якова Павловича участю у боротьбі за відкриття Катеринославської ученої архівної комісії. У квітні 1902 р. до Міністерства внутрішніх справ надійшло клопотання про надання історичній секції наукової спілки прав губернської ученої архівної комісії. У клопотанні було відмовлено, бо "право разборки дел и документов губернских и уездных архивов разных ведомств и хранение их частным обществом предоставлено быть не может" [5.-C.3]. Тому на ім'я начальника губернії графа Ф.Є. Келлера надійшло клопотання з тим же проханням, яке підписали М.В. Родзянко, ректор духовної семінарії Архімандрит Іоанікій, Я.П. Новицький та багато інших відомих у губернії осіб. Внаслідок цього був отриманий дозвіл на утворення Катеринославської ученої архівної комісії, урочисте відкриття якої відбулось 16 березня 1903 р. Значення комісії у збереженні та обробці архівних документів і досліджень з історії Південної України важко переоцінити.

У перші роки існування ця комісія нараховувала 68 дійсних членів. Її почесними членами у різні роки перебували: Преосвящений Симеон, єпископ Самарський; голова імператорської Московської археологічної спілки графиня П.С. Уварова; член Державної ради, гофмейстер А.Б. Нейдгард; директор Петербурзького археологічного інституту М.В. Покровський; дійсний таємний радник, обер-гофмейстер Г.О. Олексіїв; таємний радник Х.П. Сольський; член Державної Ради М.І. Миклашевський; професор Львівського університету М.С. Грушевський; професор Харківського університету М.Ф. Сумцов; професор Київського університету В.Б. Антонович; директор Катеринославського музею ім. О.М. Поля Д.І. Яворницький та Я.П. Новицький.

Своєю роботою у Катеринославській ученій архівній комісії Новицький, як визначив її голова, "внёс в деятельность Комиссии в качестве учёного учреждения, разрабатывающего местную историю, вклад громаднейшаго значения" [5.-С.9]. Зокрема, за завданням з Катеринослава він розглянув архів Олександрівського казначейства. Найбільш цінні папери із тих, що виявив Яків Павлович, комісія запросила на збереження до свого архіву. Крім того, Новицький брав активну участь у розробці історії місцевих дворянських родів за родинними архівами, неодноразово доповідав на наукових засіданнях, друкував свої статті в "Летописи Екатеринославской учёной архивной комиссии".

На межі ХІХ і ХХ ст. Новицький почав активно займатись археологічними пошуками: організовувати експедиції і очолювати їх. Так, у посвідченні Олександрівської міської управи від 18 вересня 1912 р., виданому Новицькому, згадується: "разрешительное удостоверение Екатеринославского областного музея им. А.Н. Поля от 22 августа сего года, за №44 на право производства раскопок курганов в пределах Екатеринославской губернии" [6.-Ф.202.-№17]. До своєї археологічної діяльності Яків Павлович (вже як попечитель шкіл у повіті) залучав не тільки учнів середніх навчальних