Under unionen med Danmark ble det bygget et stort militært verftsområde i Norge. Hovedoppgaven for det nye verftet var å bygge og å utstyre en hel flåteavdeling som kunne stå imot den svenske flåten som regjerte langs norskekysten. Verftet hadde også en viktig oppgave ved forflytting av store hærstyrker over land. Stavern utenfor Larvik ble valgt som den beste lokasjonen og navnet på anlegget ble Fredriksvern verft.
På verftet ble det bygget over 50 store fartøy. Det største var fregatten"Christina" som stod ferdig i 1774 og den siste var orlogsbriggen "Fredriksvern" som ble sjøsatt i 1814. Da Danskene tapte Napoleonskrigen måtte Danmark avstå Norge til Sverige. Samtidig fikk Norge en ny grunnlov, men ikke noe egen konge. I denne nye unionen med Sverige fikk Fredriksvern verft status som Norges hovedbase for marinen.
Verftet stod dermed i sentrum for hele den norske marine. Her ble det samlet en betydelig kompetanse i skipsbygging og operativ sjømilitær virksomhet. Flere av dagens kjente militære institusjoner er etablert ved Fredriksvern. Dette er bl.a. Telemark Regiment og Sjøkrigsskolen. Fredriksvern er og det eneste festningsverket i Norge som har huset alle de 4 forsvarsgrenene (Marinen, Hæren, Luftvåpenet og Heimevernet). Helt fra 1750 og frem til anlegget ble lagt ned i 2002 har det vært militær aktivitet ved Fredriksvern.
Det store steinhuset ved kanalen var opprinnelig et bindingsverkshus som ble bygget som lager for rigg og utstyr som skulle ombord på skipene de bygget. Derfor ble det gravd ut en kanal som gikk fra «Breddingen» der kjølen ble trukket opp og inn til et lunt sted for videre utrusting av skipene langs lagerbygget. Bindingsverket i bygget ble etter hvert fjernet og erstattet av solide steinmurer. Dette er nok også årsaken til at bygget fortsatt står velbevart langs kanalen. I dag er det flere mindre gallerier og butikker i det gamle bygget.
«Kadettbrakka» på verftet er en av Norges største trebygninger. Den er bygget rundt 1770, er 70 meter lang og 11 meter bred (ca. 3.000 kvadratmeter). Opprinnelig var dette et proviantlager der det til enhver tid ble oppbevart nok proviant for 1.000 mann i seks måneder og i tillegg proviant for et helt år til alle egne ansatte. På slutten av 1800 tallet ble den bygget om og brukt som forlegning for kadetter og under andre verdenskrig ble den også brukt som interneringsleir for russiske krigsfanger.
«Citadelløya» var begynnelsen på den militære aktiviteten i Stavern. Dette var opprinnelig en liten donjonfestning (et lite festningsverk med en beskjeden kanon eller to). På Citadelløya var det en begrenset militær styrke, men like vel med et relativt staslig husvære for kommandanten, hans offiserer og mannskap. Den militære rangen ble godt ivaretatt.
Den gang Citadelløya ble utbygget var det grev Ulrik Fredrik Gyldenløve som var stattholder i Norge. Han var opprinnelig fra Tyskland og regjerte i Norge fra 1664 til 1699. I denne perioden var Norge i konstant konflikt med Sverige og Gyldenløves fikk derfor bygget opp en norsk hær på 12.000 soldater, stort sett lokalisert rundt Fredriksvern i Stavern. Han fikk etter hvert også en egen krig oppkalt etter seg. Den Skånske krigen mellom Sverige og Danmark resulterte i at Jämtland og Härjedalen ble en del av Norge. Denne krigen varte fra 1675 til 1679 og ble senere kalt "Gyldenløvefeiden" etter Ulrik Fredrik Gyldenløve.
Under den store nordiske krigen som pågikk fra 1709 til 1720 ble Citadelløya en viktig base for Petter Wessel Tordenskiold og hans flåte. Den var også en sentral støtte for sjøtrafikken mellom Norge og Danmark. Et av hans mest berømte sjøslag var sjøslaget ved Lysekil. Her greide Tordenskiold å senke 29 svenske krigsskip med sin flåte på bare 7 skip. I dag står det statuer av Petter Wessel Tordenskiold i København, i Trondheim, i Oslo, i Stavern, i Horten og på stedet der han ble drept under en duell med obersten Jacob Axel Staël von Holstein utenfor Hannover - men det står ingen ved Lysekil i Sverige.
Kruttårnet er det eldste bygget på Citadelløya og dette brukes i dag både til konserter, teater og kunstutstillinger. Det samme gjelder krutthuset i den gamle forlegningen. Dette solide bygget er - sikkert med god grunn - plassert et stykke utenfor den øvrige bebyggelsen på verftet....
