Dominando a vila de Sesimbra, o Castelo fica rodeado pelas montanhas do maciço da Arrábida. Embora o local já tivesse sido povoado anteriormente, foi com o domínio muçulmano que aí se construiu uma fortificação.
Durante o avanço cristão a Sul do Rio Tejo, a localidade de Sesimbra foi tomada por D. Afonso Henriques, a seguir a Palmela, mas não resistiu à reinvestida dos exércitos do Califado Almoada, em 1190. Seria conquistada definitivamente em 1200 pelo rei D. Sancho I, que então mandou reerguer o Castelo e concedeu foral à povoação.
Em 1236, D. Sancho II entregou o Castelo à ordem de Sant'Iago. Em 1323, o rei D. Dinis fez obras de melhoramento na estrutura defensiva. Durante o séc. XV, o mar foi atraindo os habitantes que acabaram por abandonar o espaço do castelo para forar o que é hoje a localidade de Sesimbra.
Embora com algumas intervenções menores nos séculos XVI e XVII, a ruína foi-se acentuando ao longo dos séculos, sobretudo depois do terramoto de 1755. Foi apenas em 1930/40 que o Estado tomou a iniciativa de o restaurar, dando-lhe a aparência actual. Da época medieval conserva ainda a muralha e a alcáçova.
No interior podemos ainda ver a Igreja de Santa Maria do Castelo, construída em 1160 e muito restaurado em 1721, como o confirma a inscrição no portal de entrada.