清雍正五年(1727年)，小召喇嘛阳察尔济任归化城副扎萨克喇嘛时，在他担任年班扎萨克喇嘛(掌管行政权的喇嘛)向朝廷汇报情况之机，他呈请皇室，修建小召属院，于雍正十年(1732年)建成，清廷赐名为慈灯寺。寺院布局为金刚界曼陀罗，
慈灯寺当时香火鼎盛，一派繁荣。它原有三重殿院，每重院子都有佛殿，并有配殿和厢房、耳房等，占地约5000平米。每年除夕，归化城内外各召庙选派喇嘛集中在慈灯寺门前的广场上，身着盛装，头戴面具，在大号、锣鼓及笙管铙钹等乐器的伴奏下，举行跳“恰木”活动，以禳灾祈福、庆祝丰收，预祝来年风调雨顺。在正月十五元宵节之夜，慈灯寺还要在五塔和玲珑短墙上每隔咫尺就点亮铁铸莲花灯，灯火辉煌、壮丽秀美。
乾隆年间，慈灯寺根据佛教经典《金刚经》教义设计了金刚座舍利宝塔，因塔座顶上有5座小塔，民间俗称五塔，慈灯寺也被俗称为“五塔寺”。
1977年，国家拨专款修葺五塔寺，成立了呼和浩特文物管理所。1982年，成立五塔文物保管所，树立了保护标志。1988年1月13日，国务院公布五塔寺为全国重点文物保护单位。
五塔，就是仿印度的迦耶式塔建造的，由塔基、金刚座、塔顶三部分组成，通高16.5米，承托在一个以莲瓣装饰起来的须弥座上，是依《金刚经》教义而建成的。按照佛经上的说法，金刚界有五部，每部有一个部主，即主要的佛。它们分别是大日如来佛(中央)、阿佛(东面)、宝生佛(南面)、阿弥陀佛(西面)、不空成就佛(北面)，他们分别骑乘着狮子、象、马、孔雀和迦楼罗(一种人面鸟身的神兽)。
