Helt fra tidlig på 1700 tallet har Håholmen på Hustadvika vært brukt som bosted, handelsplass og fiskevær for klippfisk. Hovedøyen med dagens bebyggelse er på ca 50 mål, men det er også ca. 20 andre mindre øyer som hører med til eiendommen. Disse ligger alle ytterst på den værharde kyststripen mot storhavet utenfor Hustadvika.
I 1898 ble eiendommen kjøpt av Bård Bergseth. Han ble da en betydningsfull væreier og flyttet selv ut til Håholmen med hele sin familie. Bård Bergseth var morfar til eventyreren Ragnar Thorseth som igjen ble berømt for sine mange og tildeles hasardiøse ekspedisjoner i småbåter. Han var den første som rodde alene fra Måløy til Shetland (1969), han har reist gjennom Nordvestpassasjen i en 20 fots båt. Han har reist med «Cleng Peerson» i den samme ruten som utvandrerne benytte på sin reise fra Nore til Vinland og New York, og han har vært skipper på «Gaia» (som var en kopi av Gokstad skipet) på en reise fra Norge til New York. I 1982 var han leder av et 5-mannslag som reiset over polhavet til Nordpolen med snøscootere og han har overvintret med hele familien i Kongsfjorden på Svalbard. Den største bragden var nok like vel hans jordomseiling som pågikk i to år fra 1984 om bord i vikingskipet «Saga Siglar». Dette skipet ligger nå innfelt i gulvet i konferanserommet ute på Håholmen. Her kan man se filmer og bilder fra de mange reisene til Ragnar Thorstvedt. Beretninger om de fleste av disse ekspedisjonene er også utgitt i egne bøker skrevet at Thorstvedt selv.
Gamle Bård Bergseth drev fiskeværet og sine forretninger på Håholmen helt frem til 1960, og hans etterkommere bodde fast på Håholmen til 1978. Fiskeværet og hele bebyggelsen var utsatt for vær og vind og stod i fare for å forfalle da Ragnar Thorstvedt sammen med sin kone Kari startet opp driften av Håholmen Havstuer i 1989. Deler av bygningsmassen begynte å bli i dårlig forfatning. Noe ble revet, de som kunne reddes ble restaurert og der det var mulig å rekonstruere den originale bebyggelsen ble det satt opp nye identiske bygg. I dag står det ca. 30 hus fra perioden mellom 1700 og 1800 tallet på holmen, menge av disse benyttes til spisested og til overnatting. Er man gjest på Håholmen står alle felles bygninger til din disposisjon hele døgnet. Ragnar og Kari Thorstved drev selv Håholmen Havstuer helt frem til 1998. I 2000 ble Ragnar Thorstvedt utsatt for en alvorlig rideulykke. Det var da naturlig å overlate arven fra sin morfar Bård Bergseth til noen som kunne ivareta og drive stedet videre. I dag er det Classic Norway Hotels som eier og driver Håholmen Havstuer.
Hovedøyen ligger helt ut mot havet og skipsleia forbi Hustadvika. På innsiden av den største øyen ligger det en mengde småøyer som danner en godt skjermet naturhavn. Denne kan benyttes av båtturister i sommersesongen. Opplevelsen av å sitte på det høyeste punktet på den verneverdige Håholmen for å se solen gå ned i havet i vest er en forestilling som alle mennesker burde få med seg i livet.
