De stad is gebouwd op meerdere heuvels en bereikt op sommige plekken een hoogte van bijna 300 meter. Daardoor kunnen in de verschillende wijken van stad temperatuurverschillen optreden. Het aantal heuvels waarop de stad ligt is in ieder geval 43, waarvan er zeven een gevestigde naam hebben. De grootste heuvel is Mount Davidson met een hoogte van 282 meter. Op de top staat een kruis van cement, waar men naartoe kan wandelen.

Door de prachtige natuurlijke ligging en de hoogstaande architectuur, wordt San Francisco gezien als één van de mooiste steden in de Verenigde Staten. De stad is daarnaast het financiële en culturele centrum van het gebied San José, San Francisco en Oakland.

Er zijn een aantal eilanden die tot San Francisco behoren, waarvan de meest bekende Alcatraz, Angel Island en Treasure Island zijn.

Er zijn regelmatig kleinere aardbevingen voelbaar in San Francisco en omgeving. De laatste twee echt grote waren in 1906 en 1989. Daardoor heeft de staat Californië een eigen infrastructuur en worden de laatste jaren veel gebouwen met bepaalde standaarden opgezet. Dit om de schade en het instortingsgevaar te beperken tijdens en na een mogelijke aardbeving. Er zijn enkele wijken die toch erg gevoelig blijven voor aardbevingen, deze zijn namelijk gebouwd op stukken steen die in het water zijn geplaatst.