І.Пустиннікова подає легенду, що назва поселення походить від власного імені Бердич. Коли частина земель Київської Русі опинилася під владою Великих литовських князів, ця місцевість стала володінням Бердича, підданого князя Вітовта. Потім Бердич заснував хутір, який отримав назву Бердичева.

А фортецю на Замковій горі в XIV – XV ст. заснували лицарі Великого князівства Литовського Тишкевичі. Розквіт Бердичева припав на початок XVII ст., коли місто перебувало під владою Януша Тишкевича, воєводи київського. У 1927 р. Януш Тишкевич на чолі київської раті кинувся навздогін розбійній орді кримських татар, однак потрапив у полон і там заприсягся перед Дівою Марією, якщо врятується – віддасть свій кращий замок під обитель служителів Божих. Він дотримав присяги і тільки-но викупився з татарського полону, на знак подяки за своє визволення, заснував у Бердичівському замку монастир в ім'я Діви Марії. Туди з Любліна були запрошені босі кармеліти (таку назву орден отримав від гори Кармель в Палестині). Акт дарування святим отцям території колишнього замку Януш Тишкевич власноруч вписав у 1630 р. до книг Люблінського трибуналу.

2 березня 1634 р. київський воєвода Я.Тишкевич у присутності Київського католицького біскупа та усіх 27 магнатів Київського воєводства власноручно заклав перший камінь монастирського костьолу Непорочного Зачаття Святої Марії Діви (нині – т.зв. “Долішній храм”).

Брати чернечого ордену кармелітів, створеного в XI ст. під час хрестових походів, були призвичаєні до зброї навіть краще, ніж до справ молитовних. З 1630-го року вони шпарко заходилися розбудовувати фортецю на справжнісінький замок на кшталт замку Великого магістра іоанітів на о. Мальті. Тож на початку XVIII ст. монастир представляв із себе першокласну фортецю із непробивними для артилерії стінами, кам'яними баштами з бійницями для перехрестного обстілу з гармат і ручної вогнепальної зброї, валами-бастіонами, оснащеними далекобійними гарматами. За стінами замку постійно перебував численний міський гарнізон, у підземеллях зберігалися значні запаси зброї, гарматних ядер, пороху і продовольства. На озброєнні "чернечої обителі" числився арсенал із шестиде-сяти гармат. Досі у товщі Замкової гори під баштами й кость-олом монастиря збереглася розгалужена мережа просторих кам'яних сховищ-казематів, катівень й в'язничних “мішків” та справжній лабіринт заплутаних підземних ходів.

Отцям кармелітам знадобилося всього вісім років (1634-1642 рр.) на те, щоб вибудувати таку твердиню. З нагоди освячення монастиря в 1642 р. київський воєвода Януш Тишкевич подарував кармелітам родинну реліквію – коштовну ікону Богородиці роботи візантійських майстрів. Невдовзі ікона Бердичівської Матері Божої прославилася як чудодійна і стала об'єктом паломицтва прочан-католиків з усієї Речі Посполитої. За чудотворною силою її прирівнювали до образу Ченстуховської Матері Божої (теж, до речі, роботи візантійських іконописців Східної церкви), яку в XIV ст. польський князь Опольський вивіз у Ченстухово з давньоруського стольного граду Белза.

Упродовж буремних XVII – XVIII ст. Бердичівський монастир-фортеця витримав кільканадцять облог. Звитяжні події вершилися під його стінами на початку Національно-визвольної війни українського народу під проводом Богдана Хмельницького.

У червні 1648 р. Бердичевську твердиню штурмом здобули козацькі полки Максима Кривоноса. З висоти її дзвіниці козаки почали методично обстрілювати з гармат сусідній Махнівський замок, за стінами якого переховувалися сам Януш Тишкевич з дружиною та п'ятьма сотнями нажаханих дрібних шляхтичів. Лише підхід численного польського війська коронного гетьмана Яреми Вишневецького врятував фундатора монастиря від козацького полону.

Під стінами Бердичева відбулася запекла битва, в результаті якої польське військо зазнало значних втрат, а сам Вишневецький ледь не загинув від списа Кривоносового сина. По ночі розбитий коронний гетьман з рештками свого воїнства щодуху чкурнув назад під захист високих стін свого Збаражського замку-резиденції. Адже визвольна війна українського народу виявилася не просто черговим “хлопським бунтом”. Слідом за найкривавішим ворогом українців Я.Вишневець-ким з Бердичева дременули і Я.Тишкевич та його польські ченці-кармеліти з коштовним образом Богородиці за пазухою. (Я.Тишкевич був поранений у битві з козаками під Пилявою і від ран та депресії через втрачені маєтності у 1649 р. помер у Любліні. А кармеліти повернулися в Бердичівську обитель аж після згасання Національно-визвольної війни українців за незалежність – у 1663 р.).

Наступна козацька звитяга під стінами Бердичівського монастиря-фортеці датована 1702 р. Тоді Київщина і Брацлавщина знову підняла повстання проти польського поневолення, яке очолили полковники Палій і Самусь. За стіни Бердичева було стягнуто значні контингенти польських військ на чолі з коронним гетьманом Яковом Потоцьким. Однак ця обставина не зупинила українських повстанців. Поночі вони увірвалися в місто, здобули замок, порубали поляків і захопили багатий обоз і казну. Під козацьким амоуправлінням Київське воєводство і, зокрема, Бердичів перебували аж 1713 р. У 1734-1736 рр. монастир знову опинився у вирі повстанського гайдамацького руху, на цей період капуцини вкотре евакуювалися з нього у свій люблінський осередок. Після тих козацько-селянських погромів монастирські укріплення прийшли у повне запустіння. Тож уряд Речі Посполитої у 1736 р. прийняв рішення про реконструкцію й зміцнення обороноздатності монастиря-фортеці.

Оборонний рів з перекидним мостом, високі мури з амбразурами та бастіонного типу башти Бердичівського монастиря перебудовувалися під під керівництвом видатного голандсь-кого військового архітектора Яна де Вітте, який прославився першокласою реконструкцією Кам'янця-Подільського й обіймав високий пост коменданта цієї наймогутнішої подільської твердині.

Паралельно зі зміцненням оборони і побудовою нових двоповерхових чернечих корпусів з 1739 р. тривали роботи зі спорудження величного барокового “Верхнього” костьолу. За бажанням старійшин католицької общини Бердичева та братії монастиря архітектор Ян де Вітте зробив святиню подібною до