Cavaliere-sur-Mer ble etablert som en gammel fønisk koloni og det opprinnelige navnet var den gangen Heracles Caccabaria. Byen ligger på sørsiden av St. Tropez halvøyen og inntil turismen tok helt av var dette stedet egentlig bare en liten småby med en minimal fiskehavn - en havn som også ble benyttet av folkene i nabobyen som heter Gassin. Etter at turismens inntok Cavaliere-sur-Mer vokste byen ved havet raskt, mens utviklingen i Gassin egentlig stoppet litt opp. I 1929 tok man derfor konsekvensen av dette og delte opp den politiske strukturen i to separate byen - i god tro om at man kan få til et fruktbart politisk samarbeide selv om det ikke stemmer helt med de geografiske skillelinjene.
Cavaliere-sur-Mer ligger også ved den gamle jernbaneruten mellom Saint Raphael og Toulon. Denne nedlagte jernbanen kalles "
Train Pignes" og er enkelte steder fortsatt godt synlig i landskapet. Hvert år (15. aug.) markeres "
Operation Dragoon" med en stor militær parade gjennom byen. Dette var denne militære operasjonen som frigjorde Sørfrankrike i 1945. Uansett historie eller kommunikasjon så er det fint å ta en tur gjennom byens trange gater før man setter seg ned med en rolig lunsj på torget nede ved havnen.
