Josef Gerl war seit 1929 Mitglied der Sozialistischen Arbeiterjugend (SAJ) und beteiligte sich 1934 an den Februarkämpfen. Am 20. Juli 1934 beschädigte Josef Gerl gemeinsam mit Rudolf Anzböck durch einen Sprengstoffanschlag eine Signalanlage der Donauuferbahn. Um sich der Festnahme zu widersetzten schoss Josef Gerl einen Polizisten nieder.
Das Todesurteil für Rudolf Anzböck wurde in lebenslänglich umgeändert. Das Gnadengesuch für Josef Gerl wurde abgelehnt. Engelbert Dollfuß kommentierte Gerls Hinrichtung am 4. Juli 1934 mit den Worten: „Wir können Gott danken, dass es ein Roter und kein Nazi war, gegen den wir das Gesetz anwenden mussten". Am folgenden Tag wurde Dollfuß von Nationalsozialisten ermordet.
Das Grab Gerls befindet sich im Urnenhain der Feuerhalle Simmering Abteilung 8, Ring 2, Gruppe 2, an Nummer 23. Im Spanischen Bürgerkrieg erhielt eine aus Österreichern gebildete Kompanie der Internationalen Brigaden den Namen „Josef Gerl“. Der „Gerlhof“ in der Stromstraße 39-45 in Brigittenau ist nach ihm benannt.