В 1892 году по заказу настоятеля Стефана Денисевича губернский архитектор Михаил Фаддеевич Мейшер составляет проект и смету на сооружение нового костела. Бюджет строительства формировался из пожертвований и взносов прихожан,
священников и благотворителей Могилевской архиепархии.
Здание костела в неоготическом стиле возводилось большой бригадой строителей,
которую возглавил инженер Леон Дубейковский. Краеугольный камень будущего храма заложен в 1894 году. К осени 1896 года начались внутренние отделочные работы. 29 июня 1897 года, в день святых апостолов Петра и Павла, состоялось торжественное освящение нового храма во имя Непорочного зачатия Пресвятой Девы Марии. На кладбище, примыкавшем к храму, хоронили прихожан-католиков. Среди похороненных здесь — 6 генералов русской армии, артисты римской оперы,
адвокаты, врачи. На кладбище было захоронено около тридцати священников, служивших в храме. Среди них — священники-участники польского восстания
1863 года, отбывшие сибирские ссылки, а после освобождения служившие в смоленском приходе. В 1918 г. из храма были изъяты метрические книги.
В 1926 г. здание храма было отдано под охрану губернского музея. К концу 1939 г. католической общины не существовало. 14 января 1940 г. решением
Смоленского облсовета храм был закрыт. Во время Великой Отечественной войны, в 1941 году, Смоленский костёл был открыт оккупационными войсками.
Несколько месяцев в нём совершались богослужения немецкими священнослужителями для солдат германских войск. В 50-е годы здание храма было отдано под хранилище, затем в нём размещён смоленский
областной архив. В ноябре 1991 году был официально зарегистрирован смоленский римско-католический приход.
