Deze toren herinnert aan de vesting die Megen ooit was. Nadat Megen in 1357 stadrechten kreeg, werd de stad beveiligd door een wal. In de muren werden vier toegangspoortengemaakt. Eén daarvan was de Gevangenpoort, deze dateert uit 1366. Hier zijn veel gevangenen opgesloten, in afwachting van hun verhoor, veroordeling en soms executie door middel van ‘het Sweert’ of ‘het Koord’. De Gevangentoren is het enige restant van de Megense stadspoorten.
Tegenover de Gevangentoren staat restaurant ‘Restaurant De Poort van Megen’. In de gevangenis zitten werd in de Megense volksmond “op de poort zitten” genoemd; vandaar deze naam. Het restaurant is op een creatieve wijze als gevangenis ingericht en is zeker ook de moeite van het bekijken waard.