Det var romerne som bygget den første lille borgen langs elven Verdon. De kalte stedet for Salinae etter de store saltkildene like i nærheten. Under de sarasenske invasjonene i Provence måtte de innfødte søke tilflukt på toppen av Roc - klippen som dominerer hele bybildet.
På toppen av denne klippen var innbyggerne godt beskyttet og da var det kanskje naturlig at det også ble etablert bosteder her oppe. Den lille landsbyen heter Petra Castellane og restene etter denne bebyggelsen kan ses rundt kapellet som fortsatt står på toppen av klippen. Dette kapellet heter Notre-Dame-du-Roc. Det viste seg derimot raskt at den lille flaten på toppen av klippen ble for trang og dermed startet de modigste innbyggerne å flytte ned til elven igjen. Senere vokste den nye byen opp ved foten av den dominerende klippen.
På 1300 tallet var byen igjen truet og i 1359 ble den nedre byen befestet, mens den på toppen av klippen fortsatt var uinntakelig. Etter at Castellane ble innlemmet i Frankrike ga Ludvig XI i år 1483 ordre om at festningen på toppen av klippen skulle ødelegges for godt.
Deler av bymurene er fortsatt synlige, men det meste er ødelagt - inkl. de 4 flotte byportene som lå med åpningen i hver sin himmelretning.
