Skønt hun var født i Heilbronn ved floden Neckar i Tyskland, var Irma Hertz en ægte frederiksbergborger. Før hun flyttede til Vodroffslund, der blev hendes sidste bopæl, boede hun både på Niels Ebbesensvej og på Gammel Kongevej.
I oktober 1943 tog Irma med to af sine tre døtre, Helene og Ellen, Helenes mand Svend Abrahamsen og deres to børn Finn og Kirsten, Helenes svigermor Mathilde Abrahamsen og Svends søster Henny Abrahamsen til Gilleleje. Irmas tredje datter Inger kom til Sverige ad andre veje.
Først skjulte familien sig hos venner i Holte, og derefter var planen, at familien skulle med en fiskerbåd fra Gilleleje til Sverige. Da de var på vej mod båden, lød advarslen, at tyskerne kom, og familien hastede op gennem byen. På hovedgaden åbnede en dame sin dør for at se, hvad postyret gik ud på. ”Kom herind! Vi har netop fået hø oppe på loftet, dér kan I gemme jer”, sagde hun.
Irma og hendes datter Ellen samt Helenes svigermor gik i stedet til Gilleleje Kirke, hvor andre forfulgte havde søgt tilflugt på kirkeloftet. Familien tænkte, at de ældre var mere sikre dér, og Ellen gik med sin mor. Efter kort tid kom Helenes svigermor tilbage til huset. Der havde ikke været plads til så mange på kirkens loft. En dansk pige stak de mange mennesker på kirkens loft til sin tyske kæreste, og tyskerne ankom til kirken om morgenen den 7. oktober 1943. De ville lade Ellen gå, da hun var gift med en ikke-jødisk mand. Ellen insisterede på at blive hos sin mor, men Irma overtalte hende til at tage tilbage til sin familie. Ellen kom senere til Sverige, da hendes mand Emil Johannsen, der var ansat i politiet, senere blev taget af tyskerne og sendt til Buchenwald.
I alt 80 mennesker havde skjult sig i Gilleleje Kirke og blev anholdt af tyskerne. Heriblandt Irma Hertz. De blev deporteret til Theresienstadt. Irma, der led af diabetes, klarede ikke de hårde forhold i lejren uden insulin ret længe. Hun døde på sin fødselsdag den 21. december 1943.