De aanleg van dit uitgebreide netwerk van kanalen nam verscheidene dynastieën in beslag. Met de werkzaamheden werd al in 506 v.Chr., tijdens de Lente- en Herfst-periode begonnen door koning Wu, die zijn volk de eerste kanalen liet graven om zijn heerschappij over Centraal-China te vestigen. Aangezien de meeste van China’s grote rivieren van west naar oost stromen zou de aanleg van een waterverbinding van noord naar zuid die de rivieren met elkaar verbond, de transportmogelijkheden aanzienlijk ten goede komen, en dit werd de droom van veel keizers.

Keizer Sui Yangdi van de Sui-dynastie was een groot bouwheer. In het begin van de 7e eeuw verenigde hij China en vestigde hij zijn hoofdstad in Luoyang in het noorden van het land. Om voedsel en goederen van het welvarende zuiden naar het noorden te brengen en zijn persoonlijke hang naar grandeur te bevredigen beval hij de bestaande kanalen uit te breiden en met elkaar te verbinden. In 603 begonnen een miljoen arbeiders diverse rivieren en bestaande kanalen uit te bouwen tot één groot kanaal, dat Luoyang met Yangzhou verbond. De keizer had een hang naar luxe en reizen. Profiterend van zijn positie als de “Zoon des He-mels” nam hij meer dan 200.000 bedienden mee op zijn reizen naar Yangzhou over het Grote Kanaal. Zijn geweldige staatsieboten werden getrokken door meer dan 80.000 man, terwijl hij tot diep in de nacht feestvierde. Nadat een regering van slechts 13 jaar braken er opstanden uit en kwam zijn dynastie ten val.

In de 13e eeuw gaf de keizer van de Yuan-dynastie opdracht het Grote Kanaal te repareren en van Hangzhou tot Beijing uit te breiden. De voltooiing van dit werk vergde tien jaar. Tegenwoordig is het Grote Kanaal in onbruik geraakt, maar stukken ervan, vooral in de buurt van Hangzhou en Suzhou, doen nog altijd dienst als belangrijke waterwegen.