I 1902 ble det bygget et nytt bedehus som senere ble vigslet som et kapell. Utenfor dette kapellet står minnesteinen for de 14 omkomne fiskerne som ble angrepet av en russisk ubåt 12. april i 1943. Disse 14 fiskerne var ombord på 5 små fartøy som fisket på Svennegrunnen like utenfor Gryllefjord
Den russiske ubåten dukket plutselig opp og startet å beskyte fiskebåtene med maskingevær og granater. Alle båtene ble truffet, men det var bare en som sank, mens de andre gikk for egen maskin mot land.
Under beskytingen, falt den 19 år gamle russiske matrisen Aleksej Labutin over bord fra ubåten. Han var offisersordonnans og byssegutt, og hadde fått i oppgave å bære granater til kanonen på fordekket. Den ene av fiskebåten så at han lå i sjøen og stoppet flukten for å hjelpe han ombord, men selv gjorde ikke russerne noe forsøk på å redde sin egen soldat.
Den ene av de 5 fiskebåtene het «Skreien». Den ble bordet av ubåten og mannskapet ble tatt til fange og ført til Russland der de satt til krigen var over. Ingen kjente deres skjebne før de kom tilbake til Gryllefjord etter krigen. 3 av mannskapet ombord døde under dette fangenskapet i Russland. Hele episoden på Svennegrunnen ble under krigen omtalt og brukt som propaganda i de nazikontrollerte avisene i Norge.
I nyere tid er det heldigvis litt hyggeligere i Gryllefjord. På tross av lite fastboende har det i flere år blitt arrangert en Tom Waits-festival og i 2010 ble det for første gang arrangert en Senja kultur og fiskefestival med utstilling av kunstnere som har tilhørighet til Gryllefjord - som Per Kleiva, Olav Christoffer Jensen og Anne-Mari Karlsen. Senja kultur- og fiskefestival kom etter Tørrfiskfestivalen som ble arrangert i en rekke år før dette.
Flere detaljer om det fargerike livet i Gryllefjord er gjengitt i den berømte historien fra «Feskarheimen»….
Navnet Gryllefjord kommer fra den eldste skriftformen Gryflufyrdhe fra 1386. Med unntak av ett kjent tilfelle av Grollefjord er stedet senere skrevet som Gryllefjord eller Grøllefjord. Navnet betyr «å grave» og kommer sannsynligvis av gropene naturkreftene har gravd ut i fjellet på begge sider av fjorden.
