A Torre Velha, situada na margem sul do rio Tejo, foi mandada erigir por D. João II, no lugar do antigo Forte da Caparica, construído no reinado de D. João I. A sua estrutura original, segundo as gravuras de Garcia de Resende, era composta por uma torre e um baluarte, no mesmo modelo desenvolvido alguns anos depois na Roqueta de Viana do Castelo e na Torre de Belém.
Em 1571, à semelhança do que aconteceu com diversos fortes ao longo da costa portuguesa, D. Sebastião mandou reformar a torre, ficando responsável pela obra Afonso Álvares, cujo projecto a transformou numa fortaleza de maiores dimensões.
Nessa época passou a ser designada por Fortaleza de São Sebastião da Caparica. Entre 1580 e 1640 ficava conhecida como Torre dos Castelhanos, sofrendo alterações estruturais durante a dinastia filipina. A fortaleza que chegou aos dias de hoje mantém as partes fundamentais existentes em meados do século XVII, como comprova uma planta desenhada em 1692 (IAN/TT, Col. Casa de Cadaval). A planta da fortificação desenvolve-se em U, composta por três corpos, e três baluartes com casernas. Uma das extremidades do forte é prolongado por um baluarte e pela torre de vigia. Junto à porta de armas foi edificada a capela, dedicada a São Sebastião. O corpo central da Torre Velha é de planta quadrangular, rebaixada, à qual foi adossada a casa do governador. A antiga porta da praça, junto à torre, ostenta escudo com as armas de Portugal.
No final do século XVIII a fortaleza voltava a receber obras, possivelmente de consolidação, dirigidas pelo coronel Francisco D'Alincourt (SOUSA,Raul,1997). Em 1801 as fortalezas da margem sul do Tejo eram desactivadas, e alguns anos depois a Torre Velha foi transformada em lazareto, destinado a abrigar passageiros e tripulantes que necessitassem ficar em quarentena. No ano de 1832 a torre voltava a ser remodelada e reactivada, mas no final do século XIX servia apenas como depósito e alojamento. A Fortaleza da Torre Velha é um dos mais importantes exemplares da arquitectura militar renascentista portuguesa, uma vez que foi dos primeiros sistemas integrados de artilharia para defesa da barra de um estuário desenvolvidos em Portugal nos finais do século XV, inícios do século XVI, formando uma "defesa tripartida" da barra do Tejo juntamente com o baluarte de Cascais e a Torre de Belém.