Kvåsefjorden utenfor Kristiansand var i gamle dager grensen mellom Vest- og Aust Agder. Det første tettstedet man kommer til når man reiser østover over fjorden er Ulvøysund. Her har det bodd folk siden 1000 tallet. Norges eldste skipsvrak, som er funnet under vann, lå like utenfor Ulvøysund. Om bord i vraket er det funnet 24 slipesteinen og et reinsdyr gevir som er C14 datert til perioden mellom 1020 og 1030. Slike gevir var en norsk eksportvare, både i vikingtiden og i middelalderen. Disse geværene ble brukt til å lage både kammer, knapper og smykker av.
Det er mange milepæler i historiebøkene. Fra 1300 finnes det et brev som ble skrevet av en biskop som satt værfast i Ulvøysund. Rundt 1400 ble det hugget inn en kompassrose i fjellet for å gjøre det enklere for losene. I 1500 ble stedet avmerket på gamle hollanske sjøkart - den gang som Wolfsondt. Det eldste huset i Uløvøysund er fra 1600 tallet. Det har vært i bruk som gjestgiveri og det står der fortsatt. Den første beboeren som er skiftlig dokumentert som fast bosatt i Ulvøysund var bonden Jørgen Olsen som overtok gården Ulvøen i 1670.
