Передісторія заснування колегіуму в Овручі пов’язана з ініціативою покатоличеного українського шляхтича Гната-Олександра Єльця. Вступивши до ордену єзуїтів, він зобов’язався обернути на користь поширення на Поліссі «справжнього» християнства – католицизму, зокрема на створення колегіуму зі школами в приналежному йому містечку Ксаверові, всю свою спадщину. Ксаверівська оселя зі статусом резиденії була таким чином відкрита 1635 року. Перші помешкання та костел були дерев’яними, В 1648 році ксаверівська резиденція зачиняється. Як виявилося згодом, – назавжди.
Після замирення на Правобережній Україні в зв’язку з руйнацією та обезлюдненням Ксаверова було прийнято рішення про перенесення колишньої ксаверівської оселі єзуїтів до повітового міста Овруча. В 1678 році на сеймі прийнято відповідне рішення: «Оскільки природжені обивателі воєводства київського, залишаючись без капланів та костелів… бажаючи колегіум з Ксаверова, з поміж лісів, війною повністю знищеного, до Овруча в середину Полісся перенести… для того їм півтори, де шляхта мала свої городні (склади або шпіхлери оборонні), в безпечному місці, для спорудження костела та шкіл узгоджуємо…». Нова оселя стала називатися Ксаверо-Оаруцькою, маючи статус резиденції і підпорядковуючись Острозькому колегіуму.
Перший єзуїт прибув до Овруча з Острога в 1682 році. До 1685 року були побудовані перші споруди: невеликий костел, помешкання, школа, студентський конвіет (гуртожиток). Всі вони були дерев’яними. Про їх вигляд немає жодних відомостей. Відомо, що в 1714 році розпочалося будівництво нового дерев’яного костелу, котре завдяки щедрим пожертвам шляхти завершилось досить швидко.
Наступний етап розбудови овруцької оселі єзуїтів був викликаний великою загальноміською пожежею 1720 року. Вогонь знищив майже всі будинки резиденції, хоча сам костел уцілів. Все це зумовило появу рішення житомирського сеймику від 1722 року, згідно якого єзуїтам передавалася друга половина замково: гори. В підсумку з’явилися набагато ліпші архітектурно-просторові можливості для освоєння всієї замкової території.
Однак наступний поштовх до великомасштабного будівництва виник набагато пізніше. Зумовлений він був, як і раніше, великою пожежею, що трапилася 10 січня 1745 року. Цього разу вповністю вигоріли практично всі споруди резиденції разом з костелом. Волею-неволею ректору Феліксу Убишу довелося пристати до задуму спорудження великомасштабного мурованого колегіуму та костелу, позаяк статус колегіуму отримано ще в 1741 році.
Фундаменти заклали досить швидко, але мурування стін з ряду обставин
розпочалося лише в 1753 році. Це і був власне початок спорудження того величного ансамблю, що позначається на всіх планах міста кінця XVIII – XIX ст. За архітектурним задумом в центрі композиції знаходився масивний об’єм костелу, до якого симетрично і з обох боків вівтарної частини долучалися два Г-подібних а плані корпуси. Головна вісь композиції була зорієнтована на центр старого міста, звідкіля величний силует колегіуму мав справляти якнайсильніше візуальне враження. Костел та колегіум розташовувалися в центральній частині замкового узвишшя. З міста сюди можна було потрапити через міст на високих мурованих аркадах. З часом більша частина периметру замкової гори отримала від самого підніжжя масивні цегляні підмурки, що частково збереглися до нашого часу.
Документальні свідчення про авторство овруцького колегіуму відсутні. Одначе видається дуже імовірним припущення, що загальна архітектурна ідея цього досить помітного архітектурного ансамблю належить архітектору-єзуїту Павлу Гіжицькому з Крем’янця. Відомо, що в 1740-і роки він розробляв проект колегіуму для Житомира. Позаяк поміж єзуїтськими оселями в Овручі та Житомирі існували дуже тісні взаємини, участь цього непересічного майстра у відбудові погорілої овруцької оселі є дуже вірогідною. На користь цього твердження говорить ще й характерний для творчості Гіжицького нахил досимметричних, чітких пізньо барокових композицій, до використання двобаштових фасадних схем (Житомир, Крем’янець, Самбір, Полонне).
Незаперечним однак є і те, що участь П.Гіжицького пов’язана була лише з початковим етапом. Далі роботи здійснювалися під керівництвом його учня, єзуїта Михайла Сроболевського, котрий прибув до Овруча в 1768 році, був «до механіки та архітектури здатний, надавав послуги в тому закресі обивателям». З 1770 року він обійняв також посаду ректора Овруцького колегіуму. На момент ліквідації єзуїтського ордену (1773 р.) будівля не була ще повністю закінчена. Завершували її вже монахи- засиліяни, котрим відійшли поєзуїтський костел та колегіум «разом з малим музеєм математичним та бібліотекою». Школа та монастир василіян проіснували до 1831 року, коли російська влада ліквідувала їх з відомих причин.
Подальша доля цього архітектурного ансамблю типова для багатьох пам’яток католицької архітектури. Після 1831 року одна частина приміщень колегіуму була відведена під повітову в’язницю, інша призначена для міської гауптвахти. Поєзуїтський костел було передано православному духовенству і він згодом перетворився на соборну Преображенську церкву. В 1872-77 роках церква зазнала суттєвої перебудови, отримавши п’ять декоративних бань у псевдоросійському стилі. Після спорудження нової в’язниці будинки колегіуму поступово занепали і були розібрані. Довше проіснував колишній костел. Вже в пострадянські роки розпочалося на тому самому місці будівництво нового храму.