A partir de 1618, les Ursulines se consacrent à l’instruction des jeunes filles, donnant des cours d’adultes et formant des enseignantes. L’enseignement dispensé était gratuit et s’adressait à toutes les jeunes filles, mais les dons étaient les bienvenus. L’école se développant rapidement, les Ursulines firent édifier un bâtiment sur l’emplacement de l’hôtel des Comtes de la Roche. Ce vaste bâtiment fut construit en huit ans. Une pierre gravée, encastrée dans la façade, témoigne de la pose de la première pierre le 13 Mai 1700.
Le couvent est une construction fonctionnelle qui comporte trois ailes de trois étages, une chapelle détruite fermant partiellement le quadrilatère avant la Révolution française. Epoque où la communauté comprenait 23 religieuses et 10 laïques. Le bâtiment est déclaré bien national en 1789. La communauté doit quitter le couvent en 1792. Le mobilier du couvent et celui de la chapelle sont vendus aux enchères. Le bâtiment abrite alors la gendarmerie et la prison, puis, en 1799, la sous préfecture et le tribunal d’arrondissement jusqu’à leur transfert à Montbéliard en 1816. En 1837, la ville de Saint-Hippolyte achète au département le couvent pour 10 000 francs, sauf l’aile Nord que le département garde pour la gendarmerie.
Ecoles, justice de paix y sont installées ainsi que la mairie jusqu’à la construction de l’hôtel de ville. Pendant la guerre de 1870, le bâtiment abrite une ambulance c'est-à-dire un hôpital militaire. Enfin, preuve de l’importance de ce bâtiment dans la vie des habitants, le 19 Juin 1940, Saint-Hippolyte est bombardée et une partie de la population va trouver refuge dans ses caves.
Actuellement, le couvent abrite l’école primaire, plusieurs logements et la bibliothèque municipale. Trois escaliers en pierre desservent tous les étages du rez-de-chaussée au grenier. Les côtés extérieurs des bâtiments étaient occupés par des couloirs qui desservaient toutes les pièces. La charpente, classée, est encore partiellement recouverte de tuiles violon autrefois fabriquées à Saint-Hippolyte. Les caves voûtées, en tuf, ont servi de halle au grain au XIXe siècle. La pierre et le tuf (utilisé pour les cheminées et les voûtes des caves) proviennent des carrières des environs de la ville.
