Isola Madre er den største av de tre Borromeiske øyene. Historiske skrifter forteller at øyen en gang het Isola di San Vittore (etter martyren Victor Maurus) og senere Isola Maggioredet - samt at det midt på 900 tallet stod en kirke med egen gravplass her ute. Gravplassen var anlagt som en stor trapp og beskrives som "Scala dei Morti" (trappen for de døde). Den ble avdekket i forbindelse med at hagen rundt villaen ble anlagt. Det finnes også eldgamle spor etter dyrking av oliven og man antar at disse hadde en viss religiøs betydning. I 1501 introduserte Lancillotto Borromeo, en av de 5 barna til Giovanni III Borromeo og Cleofe Pio di Carpi, sitrusfrukten. Han hentet både planter og en gartner fra Liguria og startet dyrking i stor målestokk. Lancillotto startet også byggingen av en ny familie villa i rennesansestilen fra Renato I Borromeo.
