C’est au tout début du XIVème siècle que le comte de la Roche, Jean II fonde le chapitre de Saint-Hippolyte .L’une de ses obligations était l’enseignement. Les chanoines créent donc une école, mais comme partout en Franche-Comté, elle n’était fréquentée que par les garçons.
Il faut attendre 1617 pour que l’archevêque de Besançon autorise la création d’une école de filles où la communauté des Ursulines assurera la formation. L’enseignement dispensé était gratuit et s’adressait à toutes les jeunes filles. L’école se développant rapidement, les Ursulines firent édifier un bâtiment sur l’emplacement de l’hôtel des Comtes de la Roche. Il faut huit années pour l’achever. Une pierre gravée, encastrée dans la façade, témoigne de la pose de la première pierre le 13 Mai 1700.   Le couvent est une construction fonctionnelle construite tel un grand U avec  trois ailes de trois étages (la chapelle détruite pendant la révolution française fermait partiellement le quadrilatère.).

Trois escaliers en pierre desservent tous les étages du rez-de-chaussée au grenier. La charpente, classée, est encore partiellement recouverte de tuiles violon de Saint-Hippolyte.

Un bâtiment républicain

A la révolution, la communauté comprenait 23 religieuses et 10 laïques. Le bâtiment est déclaré bien national en 1789 et de fait la communauté doit quitter le couvent en 1792. Le mobilier du couvent et celui de la chapelle sont vendus aux enchères.
Le bâtiment abrite dès lors la gendarmerie et la prison, puis, en 1799, la sous préfecture et le tribunal d’arrondissement basé dans la petite ville rebaptisée Doubs Marat, jusqu’à leur transfert à Montbéliard en 1816. En 1837, la ville de Saint-Hippolyte achète au département le couvent pour 10 000 francs, sauf l’aile Nord qui est conservée pour la gendarmerie. Ecoles, justice de paix y sont installées ainsi que la mairie jusqu’à la construction de l’hôtel de ville. Pendant la guerre de 1870, le bâtiment abrite un hôpital militaire. Enfin, le 19 Juin 1940, Saint-Hippolyte est bombardée et une partie de la population trouve refuge dans ses caves.
Aujourd’hui, le couvent abrite la gendarmerie, l’école primaire, plusieurs logements et la bibliothèque municipale. Les enfants qui y ont fait leur rentrée à l’école élémentaire ne connaissent pour la plupart rien de cette riche histoire, mais quelque part ils continuent à l’écrire.