Mens det var seil, som var fremkomstmiddelet langs kysten, var det stadig behov for noen gode havner som man kunne søke ly i ved dårlig vær. Slik oppstod mange av de gamle uthavnene langs kysten. Ramsøya er en slik uthavn - lett å seile inn i og lett å seile ut av, uansett vindretning. På slike steder blomstret det ofte små samfunn med tjenester som poståpneri, verksteder, seilmakere, handelsmenn og kanskje viktigst av alt - en kro eller et vertshus med bevilgning. Her kunne sjøfolkene bli overstadig beruset og her kunne de avtale hyre for neste tur.
Den første som slo seg ned på Ramsøya - omtrent midt mellom Ulvøysund og Gamle Hellesund - var en los som het Abraham. Året var 1750 og han kom hit med kone og 2 barn, et tvillingpar. En gang mens Abraham var inne på fastlandet i gjestebud frøs fjorden til og det ble umulig for han å komme tilbake til Ramsøya. Det var vinter og dårlige utsikter til mildvær så det eneste han kunne gjøre var å rope over til konen for å høre om det gikk greit med henne og tvillingparet. Senere flyttet 2 av brødrene hans ut til Ramsøya og da ble det nesten litt folksomt der ute.
De som slo seg ned på øya levde stort sett som loser eller fiskere, men noen hadde også en liten jordlapp for dyrking til eget bruk. Historien sier og at det bodde ei hulder ute på Ramsøya - noe som på den tiden ikke var helt uvanlig i slike små isolerte samfunn. Ettersom det lille samfunnet på Ramsøya vokste ble det etablert en egen skole som på det meste hadde 15-20 elever. Det ble bygget flere hus på begge sider av sundet mellom Ramsøya og den noe mindre naboøyen Store Nibe. På det meste var det 11 bolighus her ute. Det eldste huset huset som i dag står på øya er fra 1784.
Både maleren Hans Finne-Grønn og billedhugger Nic Schiøll hadde sine sommerhus på Ramsøya. Hans Finne-Grønn malte en del kjente portrett av både Kong Haakon og resten av kongefamilien. Blant hans landskapsbilder er det motiv fra både Tjøme og Hvasser - og ikke minst fra Ramsøya. Nic Schiøll er kjent for sine arbeider under restaurasjonen av Nidarosdomen, men kanskje aller mest kjent for sin utsmykning av St. Hallvard på sydveggen av Oslo rådhus.
