Som mange andre middelhavsbyer var Saint Rafael delvis
bygget på en klippe av stein. Fjellene som strekker seg ned til kysten er en
del av Estrel fjellene (Massif de l’Esterel) Disse fjellene ligger slik til at
der de treffer havet deler landskapet mellom Cannes på den ene siden og Frejus
og Saint Rafael på den andre siden. Går man i disse fjellene ser man tydelige
tegn på tidligere bosetninger og arkeologiske utgravinger. Stor steinblokker er
også hentet her for å bygge opp de fleste små byene rundt fjellet.
De første som slo seg ned i området her var Romerne og
stedet ble raskt populært ferieparadis for de eminente deler av det romerske
samfunnet. Like nord for Saint Rafael lå det en gang en by som het Valescure. Her
var det de meste velstående romerne slo seg ned og fortsatt i dag kan man se
restene etter de flisedekorerte romerske villaene fra den tiden. Selve byen
startet som en bosetning av munkene fra øyen Lérins i det 11. århundre. Disse
øyene ligger like utenfor Cannes og bestod den gang omtrent bare av et kloster
som var oppkalt etter Saint Honoratus og som ble grunnlagt i år 410. 
Munkene hadde et stort problem med de arabiske piratene som på
den tiden dominerte langs kysten. Det var nok dette som var en av hovedårsakene
til at de flyttet fra øyene og lenger inn i landet rundt Saint Rafael. I det
12. århundre var det tempelridderne på vei til Jerusalem som dominerte i
området og fra det 15. til det 19. århundre utviklet man et rikt fiskeri.
Først i 1703 ble Saint Rafael anerkjent som egen by – da kjent
som Sanctus Raphael. Det var forøvrig like før Napoleon Bonaparte for første
gang kom til Saint Rafael etter sine røvertokt i Egypt. Han ble da hyllet som
"Erobreren av Pyramidene". Noen år senere (i 1814) kom han tilbake
til byen. Denne gangen som krigsfange på vei til sitt nye fengselsopphold på
øyen Elba. Andre militære aksjoner på strendene rundt Saint Rafael er den
allierte operasjon "Camel Green" som ble iverksatt 15. august 1945
(se egen beskrivelse).
.
