Kościół bizantyjski i plan centralny został głęboko przemieniony przez rodzinę Conti Arcucci (rodzina fundatorów Kartuzji) w XIV wieku, dołączając po jednej stronie wysokie prezbiterium ze sklepieniem krzyżowym a po drugiej portyk z aktualną fasadą, zmieniając następnie ukierunkowanie pierwotne Wschód-Zachód w niezwykłe Północ-Południe. Jednakże we wnętrzu przetrwały niektóre cenne kolumny rzymskie wzięte z pobliskiej willi cesarskiej Augusta w Palazzo a Mare, które w XVIII wieku zostały usunięte, aby przewieźć je do Reggia di Caserta i zastąpić kopiami gorszego gatunku.

Na rozległej powierzchni od strony Kościoła San Costanzo rozciągała się willa imperatora rzymskiego Augusta, "Palazzo a Mare", którego imieniem nazwany został cały ten obszar. Po niej pozostały widoczne niewielkie resztki na brzegu miejsca zwanego Bagni di Tiberio, wielka exedra i wanny do hodowli ryb, które zostały prawdopodobnie zbudowane i powiększone przez Tyberiusza, jak można wnioskować po stylu konstrukcyjnym. Jądro centralne willi Augusta, znajdowało się natomiast na obszarze zajmowanym dziś przez podzieloną eks Willę Williams Bismark, także notka jako "Fortino", dlatego że rodzaj fortyfikacji zbudowany przez Francuzów na początku XIX wieku, który wykorzystywany był do celów obronnych powstał z ruin willi rzymskiej, najpierw obrabowanej przez archeologów burbońskich a następnie bezpowrotnie oszpeconej przez konstrukcję wojskową.