La chiesa bizantina a pianta centrale fu profondamente trasformata dai Conti Arcucci (la famiglia del fondatore della Certosa) nel XIV secolo, aggiungendo su un lato l'alto presbiterio con volta a crociera e sull'altro il portico e l'attuale facciata, cambiando quindi l'orientamento originario Est-Ovest in un inusuale Nord-Sud. Rimasero però al suo interno alcune preziose colonne romane prese dalla vicina villa imperiale di Augusto (il Palazzo a Mare), che nel XVIII secolo furono invece rimosse per essere trasportate alla Reggia di Caserta e sostituite con delle copie scadenti.

Nella vasta area a lato della Chiesa di San Costanzo si stendeva la villa dell'imperatore romano Augusto, il "Palazzo a Mare", che dà il nome a tutta la zona. Di essa restano visibili pochi resti sulla costa in località Bagni di Tiberio, con una grande esedra e le vasche per l'allevamento dei pesci, che furono probabilmente costruite o ampliate da Tiberio, come si può dedurre dallo stile costruttivo. Il nucleo centrale della villa di Augusto si trovava invece più in alto, nella zona occupata oggi dalle costruzioni della ex Villa Williams Bismark, anche nota come "Fortino" perché sorta sulle fortificazioni costruite dai Francesi ad inizio Ottocento, che avevano utilizzato a scopi difensivi quanto scampato al saccheggio effettuato dagli archeologi dei Borboni nel XVIII secolo, che avevano asportato tutti i marmi, le colonne e le decorazioni.