Implantado na parte mais elevada da vila, do lado Nordeste, sobre um monte em forma de esporão, com 184 m de altura, erguendo-se acima da confluência de dois afluentes do rio Ardila, as ribeiras de Brenhas e de Lavandeira.
Dominando a cidade com o que resta das suas torres e muralhas, o castelo de Moura foi construído pelos portugueses no início do séc. XIV aproveitando as fortificações deixadas pelos árabes. Na segunda metade deste século foi-lhe acrescentada uma segunda cerca muralhada para abrigar a população que aumentava.
No séc. XVI, D. Manuel I encarregou o arquitecto Francisco de Arruda de proceder a algumas alterações, em que se incluem provavelmente a torre do relógio, datando também desta época o convento feminino de S. Domingos, que se encontra no interior da cerca, mandado erguer por D. Ângela de Moura, em 1562, sobre as fundações da antiga mesquita. A igreja conventual guarda o túmulo manuelino dos irmãos Pedro e Álvaro Rodrigues, presumíveis conquistadores de Moura.
Durante as Guerras da Restauração, na segunda metade do séc. XVII, a fortaleza medieval foi reforçada com uma linha de baluartes e revelins, segundo o projeto de Nicolau de Langres, adaptada às novas técnicas de guerra com armas de fogo.
Do conjunto fortificado destacam-se a torre de menagem rectangular e uma torre circular sobre a qual se acrescentou um relógio no séc. XIX.