Autour du logis seigneurial, de la forteresse et de l’église abbatiale s’est constitué au début du XIe s. le « castrum » de Beaugency sur un éperon rocheux délimité par la Loire et le Rû son affluent. Il reste de cette première enceinte deux tours (la Tour dite du Diable, la Tour nord du château de Beaugency) à laquelle on accède par la Porte de la Barrière, actuelle voûte Saint-Georges.
La ville se développe à l’ouest avec la construction d’une nouvelle enceinte (« seconde enceinte ») au XIe s. dont subsiste la Porte du Change ou Tour de l’Horloge.
Face à l’extension de la population, une troisième enceinte est élevée au XIIe siècle à l’initiative du seigneur Raoul de Beaugency (vers 1090-vers 1130) dont la Porte Tavers.
Les murailles sont endommagées par le Prince de Condé en 1562 et restaurées sous le règne d’Henri III. C’est en 1767 que les remparts sont détruits.
La ville a conservé plusieurs vestiges de ces murs d’enceinte, à l’angle route d’Orléans à Blois et route de Châteaudun et à l’est de la ville, le long de l’Avenue de Chambord.
