Under unionen med Danmark ble det bygget et stort militært verftsområde i Norge. Hovedoppgaven for det nye verftet var å bygge og å utstyre en hel flåteavdeling som kunne stå imot den svenske flåten som regjerte langs norskekysten. Verftet hadde også en viktig oppgave ved forflytting av store hærstyrker over land. Stavern utenfor Larvik ble valgt som den beste lokasjonen og navnet på anlegget ble Fredriksvern verft.
Verftet stod dermed i sentrum for hele den norske marine. Her ble det samlet en betydelig kompetanse i skipsbygging og operativ sjømilitær virksomhet. Flere av dagens kjente militære institusjoner er etablert ved Fredriksvern. Dette er bl.a. Telemark Regiment og Sjøkrigsskolen. Fredriksvern er og det eneste festningsverket i Norge som har huset alle de 4 forsvarsgrenene (Marinen, Hæren, Luftvåpenet og Heimevernet). Helt fra 1750 og frem til anlegget ble lagt ned i 2002 har det vært militær aktivitet ved Fredriksvern.
Det store steinhuset ved kanalen var opprinnelig et bindingsverkshus som ble bygget som lager for rigg og utstyr som skulle ombord på skipene de bygget. Derfor ble det gravd ut en kanal som gikk fra «Breddingen» der kjølen ble trukket opp og inn til et lunt sted for videre utrusting av skipene langs lagerbygget. Bindingsverket i bygget ble etter hvert fjernet og erstattet av solide steinmurer. Dette er nok også årsaken til at bygget fortsatt står velbevart langs kanalen. I dag er det flere mindre gallerier og butikker i det gamle bygget.
«Kadettbrakka» på verftet er en av Norges største trebygninger. Den er bygget rundt 1770, er 70 meter lang og 11 meter bred (ca. 3.000 kvadratmeter). Opprinnelig var dette et proviantlager der det til enhver tid ble oppbevart nok proviant for 1.000 mann i seks måneder og i tillegg proviant for et helt år til alle egne ansatte. På slutten av 1800 tallet ble den bygget om og brukt som forlegning for kadetter og under andre verdenskrig ble den også brukt som interneringsleir for russiske krigsfanger.
«Citadelløya» var begynnelsen på den militære aktiviteten i Stavern. Dette var opprinnelig en liten donjonfestning (et lite festningsverk med en beskjeden kanon eller to). På Citadelløya var det en begrenset militær styrke, men like vel med et relativt staslig husvære for kommandanten, hans offiserer og mannskap. Den militære rangen ble godt ivaretatt.