Hij bezocht de lagere school in Musoma, waarna hij door kon leren aan de middelbare school in Tabora, de Tabora Government Secondary School. Pas nadat hij deze voltooid had werd hij gedoopt en trad officieel toe tot de rooms-katholieke kerk. In 1943 ging hij naar Uganda waar hij colleges volgde aan de Makarere universiteit in Kampala. Na enkele jaren keerde hij echter terug naar Tabora en ging biologie en geschiedenis studeren aan de St. Mary Catholic Boys School. In 1949 vertrok hij naar Groot-Brittannië, waar hij in 1952 in Edinburgh als arts afstudeerde.

In 1953 trouwde hij en geheel volgens de traditie ‘kocht’ hij zijn bruid, de eveneens rooms-katholieke Maria Magigo van het Msinditivolk, voor de prijs van zes stuks vee. Ze zou de eerste vrouwelijke onderwijzeres van Tanzania worden. Uit het huwelijk werden zeven kinderen geboren.

In 1953 kwam Nyerere voor het eerst in aanraking met politiek. Hij was in die tijd als leraar verbonden aan de Catholic Secondary School St. Francis in Pugu, een kleine plaats in de omgeving van Dar es Salaam. Hij werd er voorzitter van een organisatie die zich bezighield met de internationale verhoudingen tussen Tanzania en vergelijkbare Afrikaanse landen, de Tanzania African Association (TAA). Vanuit deze organisatie werd de TANU geboren, de Tanganyika African National Union, een van de vroegste politieke organisaties in het land.

Hij werd in 1954 uitgenodigd om zitting te nemen in de Tanganyika Legislative Council, de organisatie die belast was met het opstellen van wetten die later van toepassing zouden zijn in het zelfstandige Tanganyika. In 1958 trad hij fulltime in dienst van deze organisatie en bleef een belangrijk lid ervan totdat hij in 1962 tot president werd gekozen, een functie die hij tot zijn vrijwillig terugtreden in 1985 zou blijven vervullen.

Nyerere kreeg en behield de bijnaam Mwalimu: leraar, en ging de geschiedenis in als een van de belangrijkste grondleggers van de verzelfstandiging van Afrikaanse staten. Ook al was hij lang niet bij iedereen geliefd en duldde hij nauwelijks tegenspraak, ook al blunderde hij op organisatorisch gebied vele malen (zijn belangrijkste misser: de Ujamaa), hij kan ongetwijfeld tot de grootste Afrikaanse leiders gerekend worden. Na zijn terugtreden werd hij nog lange tijd geconsulteerd in belangrijke staatsaangelegenheden.

In oktober 1999 overleed Julius Nyerere in een ziekenhuis in Londen.