Dès 1337, des mesures de protection ont été prises, notamment la construction d'un mur autour de la porte de Garonne et l'amélioration de la tour de l'avenue de Moissac.

Les XIVe et XVe siècles ont été caractérisés par des défis tels que des inondations, la peste, et la guerre de Cent Ans, ce qui a entraîné de nombreuses perturbations dans la région, avec seulement de courtes périodes de répit au début du XVIe siècle.

En 1560, les guerres de religion ont éclaté, opposant la ville majoritairement catholique de Castelsarrasin au reste de la région, qui était plutôt protestante. Par chance, l'église Saint-Sauveur a échappé à la destruction pendant cette période tumultueuse.

À la fin du XVIIe siècle, Antoine Laumet, connu sous le nom de Lamothe Cadillac, est né à Saint-Nicolas-de-la-Grave, non loin de Castelsarrasin. Il a été envoyé par le roi de France en Amérique, où il a fondé la ville de Détroit, avant d'être nommé gouverneur de Louisiane en 1710. En signe de reconnaissance, la ville de Détroit a donné son nom à une célèbre marque d'automobiles, et des "Rencontres Cadillac" sont célébrées tous les deux ans à Castelsarrasin. Après son retour en France, il a été nommé gouverneur de Castelsarrasin le 11 février 1723, où il est décédé quelques années plus tard, en octobre 1730.

Les siècles suivants, jusqu'à la Révolution de 1789, ont été relativement paisibles. Pendant cette période, Castelsarrasin a été le chef-lieu du district de Castelsarrasin de 1790 à 1795, ayant été précédemment établi en Haute-Garonne.

À partir de 1850, la ville a commencé à se développer et à s'étendre, en grande partie grâce à l'arrivée du chemin de fer, suivi de l'implantation de "l'Usine". En 1875, une caserne a été érigée, et la ville abrite toujours aujourd'hui un régiment qui contribue activement à son dynamisme.  Au printemps 1944, une partie du 4e régiment SS "Der Führer" de la division "Das Reich" a été stationnée à Castelsarrasin, avant d'être déployée en Normandie, où elle a malheureusement été impliquée dans de nombreux actes violents, dont le tragique massacre d'Oradour-sur-Glane.

Malgré les ravages causés par les deux guerres mondiales au XXe siècle, la ville a continué à croître et à se développer jusqu'à nos jours, affirmant son statut en tant que deuxième pôle économique de Tarn-et-Garonne. En mai 1968, la ville de Castelsarrasin est devenue un centre de manifestations liées au mouvement de grève, devenant ainsi la deuxième ville après Montauban où le mouvement s'est propagé. Contrairement aux attentes, l'usine Cégédur-Péchiney, qui employait environ un millier d'ouvriers métallurgistes, n'a pas été à la tête des manifestations de mai 68 à Castelsarrasin, et la CGT, le syndicat dominant dans l'usine, n'a pas été l'instigateur du mouvement. 

Ce sont principalement les lycéens, avec le soutien de leurs surveillants, dont beaucoup étaient membres du PSU, qui ont initié le mouvement. Dans ce département, principalement agricole à l'époque, les paysans ont également joué un rôle actif dans les manifestations, mobilisés par le leader syndical communiste Paul Ardouin, formé aux côtés de Renaud Jean, et ont réussi à rassembler plusieurs centaines de petits exploitants agricoles. 

En 1500, le chœur a été agrandi et l'abside actuelle a été construite. Les religieux ont quitté le prieuré en 1625.  Au XVIIe siècle, des chapelles ont été ajoutées aux extrémités du transept, et des mesures de consolidation ont été prises pour préserver l'église.

En 1793-1795, l'église a été transformée en temple de la Raison avant de retrouver sa fonction religieuse.

En 1861, des travaux de rénovation majeurs ont été entrepris, notamment la reconstruction du clocher et des piliers de la façade et de la première travée de la nef. Ces travaux ont été menés par plusieurs architectes, dont Théodore Olivier et Louis Calmettes.

Aujourd'hui, l'église Saint-Sauveur est un monument historique, témoignant de son riche passé et des nombreuses transformations qu'elle a connues au fil des siècles.

VISITER CASTELSARRASIN : LES ACTIVITES TOURISTIQUES 

Firmin Bouisset, le créateur de ces icônes intemporelles, est né dans un moulin de Moissac, sur les rives du Tarn. Il a laissé une empreinte indélébile sur le monde de la publicité à l'aube du 20ème siècle, marquant un tournant décisif de la réclame vers la publicité moderne.

À quelques kilomètres de son lieu de naissance, un espace dédié a ouvert ses portes en juillet 2021 à Castelsarrasin, au sein de la charmante Maison d'Espagne, spécialement restaurée pour cette occasion. Firmin Bouisset était un artiste aux talents multiples, étant graphiste, lithographe et illustrateur.

Cependant, c'est son génie en tant qu'affichiste qui l'a propulsé vers la postérité, bien au-delà de ce qu'il aurait pu imaginer lui-même.
Dans un monde où les images publicitaires s'effacent rapidement et nous submergent, qui aurait pu prédire que ces personnages qu'il a créés continueraient, un siècle après leur apparition, à incarner comme nul autre l'image de l'enfance.