August Gehlen wurde am 29. Juni 1909 in Barmen geboren. Er war gelernter Gummibandwirker. Gehlen, der vor 1933 keiner Partei angehörte, engagierte sich für den Aufbau illegaler Gewerkschaftsgruppen. Er warb Mitglieder, kassierte Beiträge und verteilte illegales Material. Im September 1935 verhaftete ihn die Gestapo, und das OLG Hamm verurteilte ihn zu drei Jahren und drei Monaten Zuchthaus. Gehlens Vater August und sein Onkel Hermann Gehlen, beide engagierte Mitglieder der KPD, verurteilte das OLG ebenfalls zu 15 Monaten Gefängnis bzw. vier Jahren Zuchthaus.

Gehlen verbüßte seine Haft unter anderem im Strafgefangenenlager Esterwegen, wo er nach eigenen Angaben körperlich schwer misshandelt wurde. Im November 1942 wurde Gehlen Soldat im Strafbataillon 999, zunächst in Afrika und dann auf dem Balkan. Im November 1944 desertierte er in Albanien.

Gehlen kehrte 1946 aus der Gefangenschaft zurück und war danach Sekretär der Textilarbeitergewerkschaft in Wuppertal.