I de tidlige tidene (ca. på 1500 tallet) tilhørte dette et krongods som gikk under navnet "Sanden". Allerede den gang var det en beskjeden utskipningshavn for trelast. På 1600 tallet åpnet det første gjestgiveriet. Dette ble senere overtatt av trelasthandler Jakob Jostsønn Ulff i 1633. Han bygslet da en ny tomt ved sjøen og fikk bygget seg et hus og en tilhørende brygge for virksomheten. Senere fikk han flyttet tingstedet hit og han fikk påtatt seg rollen som statens visetollvisitør for handelen. Tollarbeidet var viktig for å hindre smugling og datidens 3 store tollstasjonene var i Gamle Hellesund, Brekkestø og Lillesand. Sønnen til Jakob Jostsønn Ulff frikjøpte senere den tomten faren hadde byksla fra Fredrik III for 300 riksdaler og fra 1663 fikk denne frikjøpte eiendommen navnet "Lillesand" som senere skulle bli navnet på den lille hvitmalte byen.
Året etter bodde det 6 voksne menn i det lille tettstedet - "foruden nogle Quinder og Børn" - som det står skrevet i historiebøkene. Lillesand fikk handelrettigheter fra 1688 og bøndene rundt det lille tettstedet svingte seg da opp med skogsdrift og trelasthandel. Det merkelige var at det stort sett bare var de omliggende bøndene som fikk gleden av dette. For innbyggerne i Lillesand hadde det liten økonomisk betydning. Rundt 1720 ble det derimot en oppblomstring og det skyldtes nok kanskje mest av alt en "stor" innvandring fra Danmark. Midt på 1700 tallet var det registrert 30 fastboende og i begynnelsen av 1800 tallet var dette øket til ca. 100 fastboende. På slutten av 1800 tallet var det nesten 1300 fastboende og i dag er det nærmere 10.000 fastboende - et innbyggertall tall som mangedobles i sommersesongen.
I 1830 fikk Lillesand rettigheter som ladested og noen år senere også sitt eget kommunestyre. Midt på 1800 tallet ble det etablert en egen skole. For å bevare klasseskillet var skolen delt slik at barn av de "kondisjonerte" fikk gå på skolen om formiddagen, mens barn av arbeidere aller nådigst kunne komme på ettermiddagen.
Den 3. juni 1896 ble den korte og smalsporede jernbanen fra Fakstadvatn til Lillesand åpnet. Den ble opprinnelig bygget for å forenkle tømmertransporten fra innlandet og ned til utskipningshavnen, men det var også noen stoppested som gjorde det mulig å ta med både passasjerer, post og andre varer fra "byen" på turen oppover dalen. Den hadde til og med en egen liten sidebane som ble bygget spesielt for for å frakte torv. Ettersom vegnettet ble utbygget kom også konkurransen fra bilene og den 15. juni 1953 ble Fakstadvatnbanen nedlagt. I dag er det eneste minnet fra denne jernbanen den gamle røde stasjonsbygningen i sveitserstil nede i havnen. Den fungerer nå som servicebygg for gjestehavnen.
Den høyreiste kirken ble bygget rundt 1889. Bildet på altertavlen er en kopi av altertavlen inne Dreifaltigkeitskirche i Hannover. Kirken i Lillesand fikk, i motsetning til mange andre kirkebygg fra denne tiden, installert sentralvarme helt fra starten. Rundt 1940 ble kirken malt opp i datidens mange festlige farger og da man rundt 1970 oppdaget at den var i ferd med å ramle sammen ble det iverksatt et betydelig restaureringsarbeid. Det tok 10 år å få kirken tilbake til opprinnelig utseende og kvalitet.
