Na de verkoop van het boerenbedrijf vertrok hij naar Innsbruck en trad er in dienst van de beeldhouwer Michael Stolz die al snel in de gaten had dat Franz meer aanleg voor schilderen dan voor beeldhouwen had. Hij stuurde hem nog in hetzelfde jaar naar de toen al gevestigde kunstschilder Piloty in München, onder wiens leiding Defregger zich verder ontwikkelde. Zoals veel schilders dacht hij dat een schilder in Parijs thuishoorde waarheen hij dan ook in 1863 vertrok. Hij hield het precies een jaar uit en in 1864 keerde hij terug naar München waar hij tot aan zijn dood verbleef.

Hij werkte verscheidene jaren in Pilotys atelier en in 1870 werd zijn werk voor de eerste maal en met veel succes tentoongesteld. Hij legde zich toe op het schilderen van landelijke taferelen, maar maakte ook tal van historische werken. Dat laatste deed hij zo goed dat hij in 1878 als professor in de historische schilderkunst werd aangesteld aan de Münchener Akademie, waar hij tal van getalenteerde jonge schilders uit alle delen van de wereld onderwees.

In 1883 werd hij door koning Ludwig II in de adelstand verheven en vanaf die tijd ging hij door het leven als Franz von Defregger. Op 2 januari 1921 stierf hij op 86-jarige leeftijd.

Von Defregger leidde eigenlijk twee schilderslevens. Hij schetste en schilderde voor zijn plezier vooral landschappelijke taferelen en zijn kinderen. Ze kwamen in het bezit van zijn 20 jaar jongere vrouw Anna met wie hij in 1872 getrouwd was. Deze schilderijen signeerde hij niet maar voorzag ze slechts van een datum.

Werken van Von Defregger zijn onder andere te zien in musea in Berlijn, Dresden, Frankfurt, Hamburg, Innsbruck, Keulen en München. Enkele werken zijn te bewonderen in Schloss Bruck in Lienz.