席力图召五世活佛被授予归化城（今呼和浩特市）掌印札萨克达喇嘛之后，掌握了这一地区的黄教大权，总理归化城喇嘛教务。席力图召在咸丰和光绪年间都曾经扩建和修缮。咸丰年间(1851—1861年)，九世席力图主持在经堂前东侧修建了一座覆钵式白石塔，四边围以栏杆。白石塔在整个召庙喇嘛塔的建筑中独具特色，是内蒙古地区保存最完整的寺庙建筑艺术珍品之一，也是清代覆钵式佛塔的代表作。光绪十七年(1891年)，席力图召再次重修，其规模又有所扩大，成为当时归化城规模最大的藏传佛教寺院。

席力图召建筑群体采用的是中原寺庙的传统建筑布局，即从山门到大殿南北形成一条中轴线，楼亭、仓舍左右对称，山门前还建有木牌楼。寺内主要建筑是由经堂和佛殿组成的大殿，佛殿已在解放前遭火灾焚毁，经堂大致保持原状，称“八十一间大经堂”。大经堂建在一座基高1.5米、宽30余米的高台之上，台基前面有九级石阶。经堂内竖有64根藏式风格的方形明柱，每根柱上包有彩色龙纹挂毯。经堂的殿顶由前后两个部分组成，前部为藏式平顶，后部为汉式歇山式屋顶。顶盖覆绿色琉璃瓦，背山有鎏金铜宝刹、相轮、飞龙和瑞鹿等装饰。顶棚、栏板及横梁上布满了各种彩色图案。四面墙壁采用藏式结构，筑城带有小窗，墙面用蓝、黄色琉璃砖镶嵌，组成各种图案，绚丽夺目，富有强烈的艺术效果，是内蒙古现存的瑰丽的古典艺术建筑物。

召内还有用蒙、满、藏、汉四种文字写就的记功碑。该碑是康熙四十二年(1703年)康熙皇帝御制平定噶尔丹的记功碑，碑文记述了平定经过及意义，对有功的寺庙进行表彰。

此外，席力图召还有四个下属寺庙:延禧寺(又称巧尔齐召，在呼和浩特市旧城五什家街)，广寿寺(在呼和浩特北乌素图村)，永安寺(又称哈达召，在包头市达茂旗)，普会寺(俗称召河，在达茂旗希拉穆仁)，均建于康熙年间，其中普会寺保存较好，普会寺也叫希拉穆仁召。