In een overeenkomst uit 1388 is er voor het eerst sprake van de stad Bredevoort:‘onse borch, huys ende stat tot Brederuoert”. Rond 1402 wordt de verdediging georganiseerd door goederen te belenen aan 10 borgmannen. Deze borgmannen (ridders) moesten de heer bijstaan bij de verdediging van kasteel en stad.
In 1534 wordt hertog Karel van Gelre Heer van de Heerlijkheid. Hij stelt Jacob ten Starte aan, een strenge drost. Als Maarten van Rossum pandheer van Bredevoort wordt, laat hij het stadje in 1545 flink versterken. Hierna raakte Bredevoort betrokken bij de gevechten tussen de Staatse en Spaanse troepen tijdens de 80-jarige oorlog.