Roussillon ligger på gammel sjøbunn med sterkt innslag av jern. Derfor er landskapet preget av røde bergarter og det meste av byen er bygget i rød sandstein. Dette er ikke noen stor by, men den okerrøde fargen gir et varmt inntrykk. Det sies at byen består av 17 ulike fargenyansen og at alle er hentet ut av de omliggende steinbruddene like utenfor byen. Vil du besøke disse ligger de ca 45 minutters gange på vestsiden av byen. Her liger også den gamle fabrikken som fremstilte okerfargete pigmenter fra fjellene rundt. Denne fabrikken (Conservatoire des Orchres et Pigment Appliquès) er åpen for omvisning og her kan man også delta på ulike kurs i fremstilling av pigmentet.
Før boligkrisen traff Frankrike var dette en skikkelig bakevje. I 1950 flyttet den amerikanske sosiologen Laurence Wylie til byen for å skrive boken "Un Village du Vaucluse". Han konkluderte med at innbyggerne i Roussillion - på tross av sine mange eiendomsfeider - var et solid, hard arbeidende og produktivt samfunn. Under 2. verdenskrig bodde Samuel Beckett her og hans var ikke helt enig i den karakteristikken.
