Ulrik Fredrik Gyldenløve var stattholder i Norge og anla det første befestningsanlegget på Citadelløya i 1677. Dette var en enkel skansebefestning bygget av løsmasser og treverk. Stavern Fort (Citadelløya) med festningstårnet, de første vollmurer og bygninger ble ferdigstilt og etablert med en fast garnison under Kristian den femte i 1689.
Fortet hadde sin mest betydningsfulle periode i 1709-1720 under Den store nordiske krig. Da var det en trygg havn og støttepunkt for orlogsmarinen. Fortet ble omfattende utbygd og utrustet ved innledningen til denne krigen. Men arbeidene bar preg av raske og billige løsninger ut fra det aktuelle krigsbehov. Nåværende kommandantbolig ble påbegynt i denne tiden og fullført med tilbygg og påbygg i 1741-1742.
I 1750 bestemte kong Fredrik den femte av Danmark-Norge seg for å bygge Fredriksvern verft på fastlandet. Samtidig gjennomgikk Stavern Fort omfattende ombygginger. Blant annet fikk fortet helt nye vollmurer og den vakre portalen med Fredrik den femtes monogram. Etter ombyggingen tjente fortet som citadell for Fredriksvern. Slike citadeller var et sted hvor forsvarere og makthavere kunne trekke seg tilbake for å holde ut en beleiring og trette ut angripere. Fortet forble stort sett uten endringer frem til nedleggelsen i 1864. I 1758 sto størstedelen av Fredriksvern verft ferdig.
Byen vokser frem
Utenfor vollene ble det bygd en sivil del med garnisonskirke, kirkegård og boliger. I tillegg fortsatte tettstedet Stavern å vokse.
I 1814 ble verftet hovedstasjon for den norske flåten. Selv om utbyggingen av Karljohansvern i Horten startet i 1821, var fortsatt Stavern hovedstasjon til 1864. Fredriksvern verft ble lagd ned i 1896. Etter nedleggelsen ble verftet brukt som øvelsessted for Krigsskolens kadetter frem til 1896. Frem til 1934 var det ekserserplass for Festningsartilleriet. Etter krigen og helt til 1998 ble området benyttet av Luftvernregimentet. All militær aktivitet på Fredriksvern verft opphørte i løpet av 2002.
Av de opprinnelige bygningene inne på verftsområdet står i dag kommandantboligen, vaktstuen, to smier, boligen til smeden, et magasin, to proviantmagasin, sjaluppskuret, galeiskurene og krutthuset.
Sjøen rundt verftet og citadelløya skjuler rester av båter og laster. Disse er viktig for å få et helt bilde av virksomheten i området. Fredriksvern verft og Garnisonssykehuset er fredet.
Utenfor området finnes fremdeles blokkhusene fra slutten av 1700-tallet. De var forbundet med palisader og var et ytre, utvidet forsvar av verftet. I 1855 ble Stavernsodden fyr opprettet.
