Het oudste gedeelte van Novi Sad is niet het huidige centrum, maar het Petrovaradinfort aan de andere kant van de Donau. Hier zijn archeologische vondsten gedaan die duiden op menselijke bewoning in de steentijd. De regio werd in de vierde eeuw voor Christus veroverd door de Kelten en drie eeuwen later door de Romeinen. Het gebied werd deel van de provincie Pannonië, die zich ruwweg uitstrekte tussen de huidige steden Boedapest en Belgrado. Op de oostelijke oever van de Donau breidden de Romeinen het Keltische fort uit en noemden het Cusum. In de vijfde eeuw vernielden de binnenvallende Hunnen het Cusum, maar een halve eeuw later werd het hersteld door de Byzantijnen, die het ook wel Petrikon noemden. In de loop der eeuwen werd het fort veroverd door de Ostrogoten, Gepiden, Avaren, Franken, Bulgaren en weer door de Byzantijnen.

In de Middeleeuwen viel het fort onder het Hongaarse koninkrijk en kreeg het de huidige naam Petrovaradin (Hongaars: Pétervárad). In 1526 veroverden de Osmanen het gebied, maar de Turkse overheersing was hier van korte duur. Toen de Habsburgers in 1687 Petrovaradin overnamen, telde de nederzetting tweehonderd huizen en drie moskeeën. Een minderheid van de bevolking was Servisch en christelijk orthodox.

Habsburgse periode

Onder het Habsburgse regime mochten alleen katholieken in Petrovaradin wonen, dus bouwden de Serven, joden en Duitsers aan het eind van de zeventiende eeuw huizen rondom het nieuwe bruggenhoofd aan de andere kant van de rivier. De nederzetting die aanvankelijk Raitzen Stadt (Serven Stad) werd genoemd en later Petrovaradinski šanac – šanac betekent schans (verdedigingswerk) – was het begin van het huidige Novi Sad.

In 1748 kreeg de stad van de Oostenrijkse keizerin Maria-Theresia de status van Vrije Koningsstad en de naam Neoplanta (Latijn), Neusatz (Duits), Novi Sad (Servisch). De ambachtslieden en handelaren hadden 80.000 forint aan de keizerin betaald om deze status te verkrijgen. In een militaire vesting was immers maar weinig mogelijk, terwijl in een vrije stad de handel hevig kon opbloeien.

Novi Sad was halverwege de negentiende eeuw korte tijd het belangrijkste Servische economische en culturele centrum. Er werden 56 kranten en tijdschriften in het Servisch gedrukt, er was een Servisch cultuurinstituut – Matica Srpska – en het Servische Nationale Theater was er gevestigd. De bevolking was uitgegroeid tot bijna twintigduizend inwoners, waarvan ongeveer twee derde Servisch was. In die tijd werd Novi Sad ook wel het Servische Athene genoemd, een nogal overtrokken benaming voor een Habsburgse provinciestad.

In het Europese revolutiejaar 1848 claimden Hongaren meer autonomie binnen het Habsburse Rijk. Geconfronteerd met nieuwe en strictere Hongaarse authoriteiten, kwamen ook de Serviërs in actie voor meer zelfbestuur in de vorm van een autonome regio: de Servische Vojvodina. De Hongaarse authoriteiten reageerden met hevig geweld. Vanaf Petrovaradin bombardeerde het leger de stad en doodde meer dan de helft van haar inwoners. Na het neerslaan van de revolutie in 1849 nam de Oostenrijkse keizer Franz Joseph I een nieuwe grondwet aan, die onder andere voorzag in uitgebreidere rechten en religieuze vrijheden voor de Serven.

Na de Ausgleich van 1867 kwam Novi Sad onder het Hongaarse deel van de Dubbelmonarchie te vallen. De meeste gebouwen die ook nu nog kenmerkend zijn werden in deze periode gebouwd: het stadhuis, de katholieke kathedraal, het gymnasium en vele woonhuizen voor rijke burgers. Rond de eeuwwisseling kreeg Novi Sad een treinstation, een electriciteitscentrale en werden verschillende tramlijnen aangelegd.

De twintigste eeuw

In de Eerste Wereldoorlog gebruikten de Centrale Mogendheden het Petrovaradinfort om krijgsgevangenen op te sluiten. Na de nederlaag van Oostenrijk-Hongarije in 1918 besloot de “Vergadering van Serven, Bunjevci en andere in de Vojvodina levende volkeren” zich aan te sluiten bij het Koninkrijk der Serven, Kroaten en Slovenen. In 1929 werd Novi Sad de hoofdstad van het “Banaat Donau”, een provincie van het Koninkrijk Joegoslavië.

In 1941 vielen de Asmogendheden Joegoslavië binnen en de noordelijke gedeeltes werden door Hongarije geannexeerd. In de Tweede Wereldoorlog kwamen meer dan vijfduizend burgers van Novi Sad om het leven bij bombardementen, straatgevechten en razzia’s. Hongaarse fascisten vermoordden bij een razzia in 1942 meer dan 1300 Joden en Serven en wierpen de lijken in de Donau. Toen in 1945 Josip Broz Tito de Socialistische Federale Republiek Joegoslavië uitriep, werd Novi Sad de hoofdstad van de autonome provincie Vojvodina. In de socialistische tijd maakte de stad een snelle industrialisatie door en de bevolking verdubbelde.

Tussen 1991 en 1995 viel Joegoslavië uiteen. Ook in het etnisch gemengde Vojvodina liepen de spanningen op, maar het kwam nooit tot gevechten. De Vojvodina bleef een autonome provincie van achtereenvolgens De Federale Republiek Joegoslavië, De Unie van Servië en Montenegro en de Republiek Servië.

Toen in 1999 president Miloševic Albanese aspiraties voor onafhankelijkheid van Kosovo – de andere autonome provincie – met geweld de kop in probeerde te drukken ging de NAVO over tot luchtaanvallen. Ook Novi Sad werd zwaar getroffen. De drie bruggen over de Donau werden vernield en de stad zat drie maanden zonder water en electriciteit. Omdat een olieraffinaderij meerdere malen getroffen werd had de stad te kampen met ernstige luchtvervuiling. In de zomer van hetzelfde jaar organiseerden studenten het eerste Exit Festival. Inmiddels zijn de bruggen weer opgebouwd en is het Exit Festival uitgegroeid tot hét symbool van het nieuwe, westerse Servië.