Костел Святого Йосипа та монастир отців Лазарітов почали будувати в 1747 році за задумом градоначальника Ізяслава князя Павла Карла Сангушка. Творець проекту – королівський придворний архітектор Паоло Фонтана, який служив у ті часи у князя поручиком артилерії. У 1749 костел, виконаний у стилі пізнього бароко, був готовий. В цей же час активно велося будівництво келій для монастиря.