Mahler war ein Stück liebenswürdigen Oberschwabens und ein Mensch von Fröhlichkeit und Bescheidenheit. In der Stadt war er als freundlicher Mann im blauen schwäbischen Fuhrmannskittel bekannt. In Württemberg wurden Gott und Geld gleich hoch geachtet, womit sich im allgemeinen Sprachgebrauch Verniedlichungen wie Göttle, Geldle und Schwäble eigentlich verboten. Doch Mahler war wohl der einzige Schwabe, der es wagte, das Geld zum Geldle zu degradieren und somit diesem ungeschriebenen Gesetz entgegenzutreten.
Sein unruhiger Geist zeigte sich bereits in jungen Jahren, als er mit 4 Jahren von daheim durchbrannte. Später wurde er Vagabund, Walfänger, Matrose, Arbeiter in einer Tranfabrik und Kosmopolit.

Als Mahler sich 1922 an der Akademie der Bildenden Künste in Stuttgart bewarb, war er einer von 100 Bewerbern. Daß ausgerechnet er zu den 10 Auserwählten gehörte, zeigt sein schon damals außergewöhnliches Können. So besuchte er im Winter 1922/23 die Zeichenklasse bei Prof. Waldschmidt. In München war er dann als Dekorationsmaler tätig, trampte bis Island und Istanbul, malte im Straßengraben und dichtete auf der Landstraße. Von Bedeutung ist dabei vor allem sein kubistisches Frühwerk, das in dieser Zeit entstand.
Schon 1924 nahm er an einer Ausstellung in Berlin bei Herwarth Waldens expressionistischer Künstlergruppe "Der Sturm" teil. Dabei stellte er zusammen mit bekannten Künstlern wie Paul Klee, Marc Chagall, Lyonel Feininger und Oscar Kokoschka aus.
Der Durchbruch gelang Mahler jedoch erst in den 30er Jahren, als er an einer "Sturm"-Ausstellung bei Gurlitt in Berlin teilnahm. 1933 jedoch wurden seine Bilder durch die Nazis beschlagnahmt und Sepp Mahler gelangte in Dunkelheit. Diese Ereignisse waren entscheidend für die Festlegung sowohl seiner Themen als auch seiner Farbpalette. Außerdem wurde im selben Jahr die internationale Vagabundenschaft verboten, zu der auch Sepp Mahler gehöhrte. Eine kurze aber relativ intensive Blüte der Vagabundenbewegung wurde durch die soziale Situation der Zeit hervorgerufen. So fanden gegen Ende der Weimarer Republik, zwischen 1929 und 1931, einige Vagabundenkunstausstellungen statt, an denen auch Mahler sich beteiligte. Zur Massenbewegung wurde das Landstraßenleben aber erst durch die Opfer der Weltwirtschaftskrise.

In den 50er Jahren machten zahlreiche Ausstellungen Sepp Mahler über die Grenzen Oberschwabens hinaus bekannt. 1951 las er im Pädagogischen Institut Weingarten aus seinen letzten Gedichten und 1967 stellte er u. a. in Schussenried aus.
In den 70er Jahren folgten Lesungen vor dem Literarischen Forum Oberschwaben und auf Ausstellungseröffnungen.

Nach einem Sturz bei einer Bergwanderung starb Mahler am 11. Oktober 1975 an seinen inneren Verletzungen.
Sepp Mahler hinterließ nicht nur ein umfangreiches malerisches Werk, sondern auch umfangreiche literarische Arbeiten. Während er ziellos und zeitlos wanderte, vagabundierte und zeichnete, machte er Lautgedichte auf der Landstraße und trug sie vor; diese "Gedichte" haben zwar oft keinen Sinn, drücken aber eine, nämlich seine besondere Stimmung aus.
Am liebsten malte Mahler farbenkühne Moormänner mit großen Hüten und Bauernhäuser, die seinem Geburtshaus glichen. Und er verwendete die Palette des Moores: magisches Nachtblau, aschig-stumpfes Grauschwarz, bleiches Ocker, warme Brauntöne, moosige Grünklänge, flammendes Orange. Aus diesem Grund wurde er auch oft der "Moormaler" genannt. So war ihm auch die Landschaft des Moores und dessen Gesicht besonders lieb: eine Frau, die gespenstig und starr in eine weite und stille Moorlandschaft blickt oder 2 Menschen, die im Dämmer vor dem Dorf stehen. Seine Vorliebe für düstere blaugraue Töne war unübersehbar. Manchmal aber befreite er sich davon und malte farbige Landschaften mit Blumenwiesen oder machte aus den Farben Blau, Rot und Gelb eine Blumenwiese im Sommer. Dementsprechend tragen seine Bilder Namen wie Wintermond mit Abgeschiedenen, Kartoffelstilleben, Sumpfmöslein, Tönenmoosgründlein, Ostertäglein. Einige Motive wiederholen sich immer wieder in seinen Bildern, so z. B. der Mond im Gitterwerk der Zweige. Dieser Mond hatte für ihn die Bedeutung einer Sonne der Nacht, jener Zeit in der er am liebsten malte, weil er da der Schöpfung am nächsten sein konnte.

Mahler setzte immer ein Zeichen für ungebeugte Selbsttreue: es war ihm wichtiger nach Werten eines individuellen Daseins zu leben, als sich selbst zu verleugnen. So malte er zeitlebens Menschen, deren Stellenwert in Gesellschaft gering war: Arme, Alte, Ausgestoßene, Einsame, Leute also, wie sie Jahrhunderte zuvor draußen, vor der Stadt auch das Wurzacher Leprosenhaus beherbergt hatte. Diese einstige Vagabunden-Solidarität mit den Randgruppen unserer Gesellschaft legte er auch in den Jahren der Seßhaftigkeit in Bad Wurzach nicht ab.