Uansett - hvis vi hopper enda tusen år frem i tid så var Hvitsten med sine 80 innbyggere faktisk Norges minste by i lange perioder, I dag er Hvitsten en del av Vestby kommune og har nå ca. 350 fastboende. Opp gjennom tidene er det mange kjente personligheter som har bodd eller oppholdt seg i Hvitsten, og her er noen av dem:
prest og en av de viktigste mennene på Eidsvoll i 1814
* Theodor Severin Kittelsen (1857-1914)
* Edward Munch (1863-1944)
en enda mer kjent norsk maler. Han bodde fast på Nedre Ramme gård
Aller mest er nok Hvitsten kjent for nettopp skipsrederfamilien Olsen og deres etterfølgere, de har hatt fast bosted i Hvitsten gjennom flere generasjoner. I dag er det Fred. Olsen som bor på familiestedet Nedre Lysdahl og Petter Olsen som bor på Ramme Gård - som tidligere var eid av maleren Edward Munch. Selskapet Fred. Olsen er i dag en internasjonal gruppe med mer enn 20 operative enheter spredt over hele verden.
På Petter Olsens kulturhotel Ramme Gaard har det vært forestillinger med The British Shakespeare Company som bl.a. er sponset av nettopp Petter Olsen. Han er også en ivrig kunstsamler og han hadde lenge det ene av de 4 originale "Skrik" maleriene av Edward Munch i privat eie. Det siste av disse 4 maleriene ble - til orientering - solgt for 614,5 millioner kroner på en kunstauksjon hos Sotherby i New York. Verdens dyreste maleri er like vel "Liggende Akt" av den italienske kunstneren Amedeo Modigliani. Det ble solgt på en auksjon hos Christie's i London for 1.495 millioner kroner (du leste riktig - altså nesten 1,5 milliard)