Po ukończeniu studiów historycznych pracował jako nauczyciel i dyrektor Instytutu dla Niewidomych w Linzu. Nie akceptował portretu Hitlera na terenie szkoły, przez co został oskarżony o antynazistowską postawę i skazany na trzy lata karceru. W 1940 roku został wysłany do obozu koncentracyjnego Dachau, a następnie do KL Gusen. Praca wykonywana w obozie KL Gusen umożliwiła mu dostęp do leków, którymi leczył ciężko chorych więźniów, ratując ich życie. Poprzez niesioną współwięźniom pomoc zyskał miano świętego i anioła. W Gusen stworzył sieć ruchu oporu, organizował lekcje szkolne, nabożeństwa kościelne, przemycał do obozu żywność i lekarstwa. Jego list do biskupa Linzu, w który informował o tragicznych warunkach w Gusen, został przechwycony przez administrację obozu KL Gusen. W marcu 1944 r. trafił z tego powodu do aresztu, gdzie poddany został okrutnym torturom. Johann Gruber zginął poprzez uduszenie skórzanym pasem przez komendanta obozu KL Gusen Fritza Seidlera.