Hoe oud hij precies is, is moeilijk te achterhalen, maar waarschijnlijk was het in de 11e eeuw een karavaanserai van de Almoraviden. Sinds de 16e eeuw is de ksar ontstaan, omdat karavanen met goud, zout en slaven deze plaats passeerden op de route van Marrakech en Ouarzazate naar het zuiden en vice versa. De Fransen legden rond 1930 een nieuwe weg aan over de Tizi n T’ichka waardoor vele inwoners naar elders vertrokken. De ksar is door de UNESCO verklaard tot nationaal erfgoed en ook de regering draagt sinds 1994 haar steentje bij aan de restauratie. Voor de films zijn zelfs de lager gelegen gedeelten van de ksar compleet verbouwd.

Er woont nog een zestal families onder wie die van Hussein, die figurant was in de film The Gladiator. Voor 10 dh kun je zijn bescheiden huisje bekijken. Ook zijn er kleine winkeltjes met Amazigh (Berber)sieraden, tapijten en schilderijen.

De kasba’s zijn goed behouden gebleven en mooi versierd met abstracte Amazigh (Berber)motieven. Ze zijn wat minder fortachtig en daardoor gemakkelijk toegankelijk. Sommige huizen hebben muurschilderingen en dakversieringen. Je kunt het beste rustig naar boven wandelen en hier en daar genieten van de prachtige uitzichten op het palmbos, de kale woestijn en de toppen van de Hoge Atlas. Bovenop de heuvel staat een ruïne van een agadir (graanopslagplaats).

In de winter moet je via stenen de Oued Ounila oversteken. In andere jaargetijden staat de rivierbedding droog.

Aït Ben Haddou ligt aan een zijweg van de weg naar Marrakech. Vanaf de afslag is het nog 9 kilometer.

Excursie vanuit Aït Ben Haddou

De Tamdaght kasba ligt 7 kilometer ten noorden van Aït Ben Haddou. Het tweede deel van de weg is onverhard. Het is een voormalige woonburcht van de Glaoui-stam. Op de toppen van de torens zijn ooievaarsnesten. Voor 10 dh kun je de kasba bezoeken.