Nach dem Studium der Geschichte arbeitete er als Lehrer und Leiter der Blindenanstalt in Linz. Er hat das Führerbild in der Schule nicht akzeptiert. Dafür bekam er eine Anzeige wegen nazifeindlicher Gesinnung und wurde zu drei Jahren schweren Kerkers verurteilt. 1940 wurde er ins Konzentrationslager Dachau und weiter ins KL Gusen deportiert. Seine Arbeit verschaffte ihm Zugang zu Medikamenten, mit denen er schwer Erkrankte versorgte und vielen das Leben rettete. Er baute in Gusen ein Netzwerk des Widerstandes auf, organisierte Schulunterricht, Gottesdienste und schmuggelte Lebensmittel und Medikamente ins Lager. Er war Heiliger und Engel genannt, der den Gefangenen Hoffnung gegeben hat. Sein Brief an den Linzer Bischof, der die grauenhaften Zustände in Gusen anklagte, geriet in die Hände der Lagerleitung. Im März 1944 kam er in Bunkerhaft und erduldete über Wochen die schlimmsten Folterungen. Johann Gruber wurde durch den Lagerkommandanten Fritz Seidler mit einem Ledergürtel erwürgen.