12 Jahre nach der Grundsteinlegung am 9. August 1173, als der Bau bei der 3. Etage angelangt war, begann sich der Turmstumpf wegen eines Grundbruches Richtung Südosten zu neigen. Daraufhin wurde der Bau für rund 100 Jahre unterbrochen. Die nächsten vier Stockwerke wurden dann schräg gebaut, um die Schieflage auszugleichen. Danach musste der Bau nochmals unterbrochen werden, bis 1372 auch die Glockenstube beendet war.
Die Schieflage des Turms beruht auf dem Untergrund aus lehmigem Morast und Sand, der sich unter dem Gewicht verformt. Neuesten Ausgrabungen zu Folge steht er am Rand einer ehemaligen Insel direkt neben einem antiken, zur Bauzeit bereits versandeten Hafenbecken. Die Schieflage des Turms beträgt 4,56 Grad.