Før den normanniske erobringen var Rye en liten fiskerlandsby. På begynnelsen av 1000-tallet ga den engelske kongen Ethelred den rådløse (Æthelred the Unready) området til benediktinerklosteret Fécamp i Normandie. Byen forble under fransk/normannisk kontroll frem til 1247, da kong Henrik III tok Rye tilbake under den engelske krone og begynte oppbyggingen av byens forsvarsverk.
Mellom det 12. og 14. århundre lå Rye nesten helt omringet av hav og var en av de viktigste havnebyene i Sør-England. Rye ble innlemmet i sammenslutningen The Cinque Ports (fem strategiske havnebyer på sørkysten). I bytte mot skattefritak og handelsprivilegier måtte Rye stille med skip og sjøfolk til kongens flåte for å forsvare England mot invasjoner.
 |
| The Mermaid Street |
På grunn av sin plassering var Rye et konstant mål under Hundreårskrigen. I 1377 ble byen nesten brent ned til grunnen av franskmennene, som også stjal kirkeklokkene fra St Mary's Church. Innbyggerne i Rye organiserte et hevnangrep året etter, seilte til Normandie og hentet klokkene sine
Mange av byens historiske landemerker stammer fra denne urolige perioden, slik som Ypres Tower (bygget i 1249 som en del av forsvarsmuren) og den gotiske byporten Landgate (bygget i 1329).
På 1500- og 1600-tallet endret geografien seg drastisk. Stormer og naturkrefter førte til at havet trakk seg tilbake og elveløpene fyltes med mudder. Rye gikk fra å være en travel, dyp sjøhavn til å ligge over to kilometer inne i landet.
Da den lovlige skipsfarten forsvant, overtok ulovlig handel. Rye ble på 1700-tallet et av Englands mest beryktede smuglerreir. Beryktede bander som Hawkhurst Gang brukte historiske vertshus som The Mermaid Inn som sine møtesteder. Et eldorado av hemmelige passasjer, kjellere og tunneler under byen ble brukt til å gjemme sprit, tobakk og luksusvarer.
Sent på 1800-tall og utover på 1900-tallet fant forfattere og kunstnere veien til Rye, tiltrukket av de brosteinsbelagte gatene, de historiske bindingsverkshusene og det særegne lyset. Den amerikansk-britisk forfatteren Henry James bodde i det kjente Lamb House i Rye fra 1898 til sin død. Senere bodde forfatteren E.F. Benson der, og brukte Rye som inspirasjon til den fiktive byen "Tilling" i sine Mapp and Lucia-bøker. Også forfattere som H.G. Wells og Rudyard Kipling var hyppige gjester i byen.
I dag er Rye en av Englands mest populære og fotogene historiske smutthull. Byen er spesielt kjent for Mermaid Street (ofte kåret til en av Storbritannias vakreste gater), sine koselige antikvitetsbutikker, originale puber og den godt bevarte middelalderarkitekturen. Her ville det vært helt naturlig om man traff på kaptein Jack Sparrow på «The Old Borough» eller på en av de andre gamle pubene langs havnen
