Un pari serait à l'origine de la Tour Haldimand, qu'on dit avoir été construite en 1823 à Ouchy, dans une propriété de la vieille noblesse lausannoise. Trois amis, William Haldimand, Auguste Perdonnet et Charles de Cerjat se seraient mis au défi d'ériger dans leur domaine respectif la plus belle tour de style moyenâgeux. Relayée dans ce reportage de l'émission Sur demande diffusé en 1968, la tenue d'un tel concours relève en fait de la légende. Il apparaît en effet que la tour de Perdonnet, située dans le parc de Mon-Repos, a été construite entre 1821 et 1822 et que celle d'Haldimand, tout comme celle de de Cerjat datent des alentours de 1830.