Serre sorse attorno ad una fortezza bizantina costruita assai probabilmente durante la guerra gotica (535-553). Il castello, insieme ad altre opere di ingegneria militare, controllava le vie di accesso al paese.In seguito divenne un insediamento longobardo, e poi residenza di castellani imperiali.
L'antica porta che conduce nella valle di Serraia, verso est, è detta porta Serraia. Si trova alla congiunzione tra il muro castellano e l'antico cassero; per questo era detta anche porta del Cassero. È nota anche come porta Martini o Gori, per via della vicinanza con l'ottocentesco palazzo Gori Martini, per la cui costruzione si dovettero eseguire dei lavori di modifica sulla porta. È sormontata da una loggia neogotica, che funge da passaggio per il transito tra il palazzo e il giardino; in passato, era parte del percorso delle sentinelle del castello.
Su una delle piazze principali del paese si affaccia la fortezza bizantina, che costituisce il nucleo più antico dell'insediamento. La base della rocca sorge su uno sperone di roccia naturale, lavorato artificialmente dagli ingegneri bizantini fino a diventare un'ellisse 40 per 60 metri di base.Appoggiato al rivestimento, in cima alla rocca, sorge il Cassero, un edificio abitabile che fu dimora dei castellani imperiali ed in seguito dei Cacciaconti. L'arredamento medievale e parte della struttura originaria scomparvero in seguito alla trasformazione dell'edificio in un terrapieno adibito a giardino
La roccia fu rivestita con un muro con base a scarpa, in massi di travertino squadrati e disposti a filaretto. Sotto la rocca si snodava la via dei Poveri, l'unica strada esistente che collegasse direttamente Siena ed Arezzo: la posizione strategica della fortezza, che poteva sbarrare il collegamento tra le due città, la rese molto ambita.
L'ospedale di Santa Maria della Scala, così chiamato perché a Siena sorgeva davanti alla scalinata del Duomo, era un vero e proprio potentato economico che si manteneva grazie alle elemosine e alle donazioni immobiliari di privati.
Le prime case e i primi terreni posti alle Serre o nella sua corte furono donati all'ospedale della Scala verso il 1270, ma nel 1297 a seguito di un'immensa donazione di Bernardino D'Alamanno Piccolomini, i possedimenti si ampliarono fino a dar loro la consistenza di una vera e propria grangia, cioè di un luogo fortificato dove si raccoglievano i prodotti dei poderi che l'ospedale di Siena possedeva.