Храм Непорочного Зачатия Пресвятой Девы Марии, он же — католический костёл, был возведён в 1894-1897 годах на общественные пожертвования по проекту архитекторов Михаила-Генриха-Фадеевича Мейшера и Михаила Михайловича Мейшера (отец и сын). Отец проектировал само здание, а сын создавал чертежи по оформлению интерьера. Бригадой строителей руководил инженер Леон Дубейковский.
На прилегающих к нему 8 гектарах территории разместились подсобные строения и римско-католическое кладбище, где с 30-х годов XIX века были похоронены 6 генералов русской армии, а так же цвет смоленской шляхты: артисты оперы, адвокаты, врачи. Подобных отдельных католических погостов во всей России существует всего два — в Санкт-Петербурге и Смоленске.