Le rovine del castello, da cui deriva il nome dell'azienda, ci riportano al Medioevo. Strategicamente posizionato in cima alle colline, abbracciava con lo sguardo tutta la costa tirrenica: era una torre di avvistamento da cui i Pisani potevano scorgere in tempo l'arrivo dei pirati Saraceni ed evitare le loro terribili razzie. Tra il Duecento e il Trecento, il vescovo di Pisa, nipote di papa Bonifacio VIII, in nome della Chiesa Romana, concesse in enfiteusi la tenuta ai conti Gaetani, che ne restarono proprietari per cinque secoli, durante i quali la realtà fortificata del castello lasciò il posto ad una attività agricola sempre più consistente: di qui la costruzione della fattoria per organizzare la produzione di grano, olive e uva, classiche colture della zona, con la realizzazione, nel Seicento, dei fabbricati ed in seguito della cantina aziendale.
Alla fine del Settecento, quel ramo della famiglia Gaetani rimase senza eredi e il Terriccio fu acquistato dai principi Poniatowski, emigrati dalla Polonia, ai quali la proprietà - di grande interesse anche minerario, per la ricchezza di ferro, rame e altri minerali rinvenuti in profondità nei terreni collinari - appartenne fino alla prima guerra mondiale.
