Самым древним зданием в современном Гагарине является стоящая на главной площади города ярусная Казанская церковь (1734-1737). Оригинальная композиция не имеет аналогов в архитектуре Смоленщины. Двусветный четверик, к которому с восточной стороны примыкает семигранная аспида, несет два поставленных друг на друга восмерика. Верхний увенчан пятиглавием. Храм построен в стиле барокко. Трапезная и колокольня Казанской церкви были разобраны. Долгое время в здании размещалась картинная галерея. После реставрации 18 апреля 1992 г. Церковь вновь освятили, здесь возобновлено богослужение.

Построена в 1734-37 гг. на средства местных купцов (Петр Немчинов "со товарищи"). Несколько позднее к юго-западному углу храма пристроен небольшой придел. После войны 1812 г. на пострадавшем здании частично изменен декор; в советское время разобрана колокольня. При восстановительных работах 1980-х гг. сооружен придел на северо-западном углу. Кирпичные стены оштукатурены. Оригинальный ярусный храм, близкий по композиции нарышкинскому барокко.
Двусветный четверик, несколько растянутый вширь, несет два широких поставленных друг на друга восьмерика. Верхний (слегка уже и ниже) увенчан пятью небольшими луковичными главками на цилиндрических шеях. Своеобразны семигранный алтарь и одноглавый придел с миниатюрным восьмеричком на четверике и закругленной апсидой. От первоначального нарядного декора сохранились гладкие пилястры на углах объемов, уступчатые карнизы, филенчатые ниши и оконные наличники с полуколонками и разорванными треугольными либо лучковыми фронтонами. В боковых порталах до восстановления проемы, фланкированные полуколонками с дыньками и увенчанные фронтонами, имели срезанные углы, на боковых фасадах четверика были видны фрагменты круглых окон, типичных для рубежа 17-18 вв.
 Высокое основное помещение храма с тромпами при переходе от четверика к восьмерику имеет лотковый свод внутри верхнего восьмерика, освещенного люкарнами. Апсида перекрыта граненой конхой с распалубками, придел, также с тромпами при переходе к восьмерику, - лотковым сводом. В приделе сохранились фрагменты стенописи.

В здании много лет размещалась картинная галерея, а с 1992 года здесь возобновилось богослужение.