Karl Höltermann ist von früher Jugend an in der Arbeiterbewegung aktiv. 1915 wird der gelernte Buchdrucker zum Kriegsdienst einberufen, den er trotz einer schweren Gasvergiftung bis 1918 als Frontsoldat ableisten muss.

1920 wird er in Magdeburg Redakteur bei der SPD-Zeitung „Volksstimme“. Hier ist er auch 1922 treibende Kraft bei der Gründung der sozialdemokratischen Republikanischen Notwehr, die im April 1923 mit rund 1 500 Mann das erste Mal öffentlich in Erscheinung tritt und sich in der Folgezeit in der ganzen preußischen Provinz Sachsen ausbreitet. Diese pro-republikanische Schutzformation wird 1924 in das neu gegründete Reichsbanner überführt, zu deren Mitbegründern Höltermann gehört.

Im Reichsbanner ist er Stellvertretender Bundesvorsitzender und Chefredakteur sowie Herausgeber der verbandseigenen Zeitung „Das Reichsbanner“ und zuletzt auch der „Illustrierten Republikanischen Zeitung“. Nach der Absetzung des Bundesvorsitzenden Otto Hörsing 1931 übernimmt Höltermann dieses Amt und wird 1932 auch als Abgeordneter in den Reichstag gewählt.

Bereits im Mai 1933 muss Höltermann vor den Nationalsozialisten fliehen. Über die Niederlande und das Saargebiet gelangt er mit seiner Familie schließlich nach Großbritannien. Aus dem Exil heraus versucht Höltermann, das Reichsbanner in Deutschland wiederzubeleben, um Widerstand gegen das NS-Regime zu organisieren. Seine Bemühungen bleiben jedoch erfolglos. 1942 stellt er seine politischen Aktivitäten ein. Karl Höltermann kehrt nicht nach Deutschland zurück, sondern lebt bis zu seinem Tod in Großbritannien.