De historie van Sandefjord is onlosmakelijk verbonden met de hier inmiddels verdwenen walvisvaart. De eerste activiteit dateert van 1881, maar vanaf 1905 begon het grote vangen bij Antarctica. Met industriële walvisjagers en walvisstations op de eilanden rondom de Zuidpool maakten de Noren jacht op de enorme zeezoogdieren. Begin jaren vijftig waren bijna 3000 inwoners van Sandefjord werkzaam in de walvisjacht. Het ging het stadje enorm voor de wind, totdat de walvisvaart moest stoppen. De jagers hadden hun prooi bijna uitgeroeid.

Eén van de rijkere walvisvaarders, Lars Christensen, investeerde een deel van zijn fortuin in 1917 in een museum over de walvisvaart (Hvalfangstmuseet). Dit museum – een aanrader – geeft een boeiend en intrigerend overzicht van de walvisvangst en de biologie van de walvissen. De visie van het museum op de walvisvangst en op de tegenstanders van walvisjacht zal niet iedereen delen. In de stad ligt ook de door oud-walvisjagers gerestaureerde walvisvaarder ‘Southern Actor’, die in de zomer voor publiek toegankelijk is. Sandefjord doet veel om zijn historie levend te houden.

Ongeveer twee kilometer van Sandefjord aan de weg RV 303 richting Tønsberg is de vindplaats van het beroemde Vikingschip ‘Gokstad’, dat in het Vikingschipmuseum van Oslo wordt tentoongesteld. In dit schip was de plaatselijke koning Olav Geirstadalv begraven. Een replica van het historische schip (‘Gaia’) ligt aangemeerd in Framnes (Gokstad Kystlag). Bij de boerderij Haugen (Jåberg) bevinden zich prehistorische rotstekeningen (Bronstijd) van vooral agrarische symbolen.

Voor de Tweede Wereldoorlog was Sandefjord een kuuroord van betekenis. Na de opening van het kuurbad (Sandfjord Bad) in 1837 kwamen van heinde en verre mensen voor een medicinaal bad naar Sandefjord. Het voormalige badhuis Kurbadet is gerestaureerd en dient tegenwoordig als cultureel centrum. Er is een klein museum over het kuurverleden in gevestigd. Het landgoed Midtåsen van de overleden scheepsmagnaat en filantroop Anders Jahre, met het door Arnstein Arneberg in de jaren dertig gebouwde landhuis, is sinds kort geopend voor het publiek. Vanuit Sandefjord is er een veerverbinding met het Zweedse Strömstad.