Gotland ble aldri styrt av dominerende godseiere, men snarer av mennesker med helt spesielle kunnskaper - enten det var innenfor landbruk eller industri. Dette var nok grobunn for flere konflikter mellom land og by. I 1288 brøt det ut en regulær borgerkrig mellom jordeiere som bodde på utsiden og de privilegerte som bodde på innsiden av bymuren rundt Visby.
Dette ble begynnelsen på en urolig periode på Gotland. I perioden fra 1300 til 1500 ble øyen invadert av utenlandske fiender ved flere anledninger. I denne perioden var det også så stort forfall på den store katedralen at det ikke var mulig å redde den. Nå står bare ruinen igjen på byens største torg.
‘Under hele middelalderen var Gotland, og spesielt Visby, et handelssenter for hele Østersjøen og handelen strakk seg herfra og ut til hele datidens Europa. Dette var nok en av årsakene til at de tyske hanseatene etablerte seg med sine handelshus i Visby
Allerede på 1500 og 1600 tallet var det en viss interesse for det historiske Gotland, men det var først på 1800 man for alvor startet kartleggingen. Helt fra begynnelsen på 1900 tallet har det vært en stor arkeologisk aktivitet på øyen.
På tross av at det var et tilsynelatende sivilisert samfunn er det også tegn på at det har vært enkelte brutale perioder i byens historie. På en høyde utenfor murene står fortsatt 3 høye murte steinsøyler, godt synlig fra landskapet rundt og fra sjøen utenfor. Dette er Galgberget og de 3 søylene ble brukt til å henge opp folk som ble dømt for brudd på øyens lover og regler. Ble man først dømt og hengt her ble man hengende til liket ble spist av fugler eller til det råtnet og falt ned - til skrekk og advarsel for besøkende fra både land og sjø.
