为了让行船一节节地“爬坡”和“下坡”，古人在运河上设置了一系列的闸，通过前后相邻两闸的蓄水或放水，使局部河段保持足够的水位，让船只顺利通行。从山东到徐州段的运河上，一共设有50多个闸。
　　 1077年，苏东坡到徐州担任知州一职。农历七月，黄河在河南决口，灾情严重，水势蔓延，淹到了徐州城的东、西、北门。同时，又连下暴雨数天，水位急速上涨。苏东坡披着雨衣、穿着草鞋，和百姓们一起建大堤、筑城墙。
　　 他奋不顾身地抢救城池，几十天没有回家。看到城里富有的人家往外逃难，他担心引起动乱，就在城门口劝阻。他说：“我不走，请你们也不要走。”就这样一次次地把大家劝回去了。
　　 为了建造防水工程，苏东坡亲自到军营里寻求帮助。他知道禁卫军直接接受皇帝命令，就去恳求他们：“河水就要冲坏城墙了，事情紧急，我知道你们是禁卫军，但也请帮我一起尽力护城吧。”指挥官欣然应允，他说：“大人都亲自监工，我们自然应当尽力。”
　　 苏东坡又把洪水往黄河旧的水道里引，不久洪水终于退去了，徐州城保住了，老百姓欢天喜地，但苏东坡却依然忧虑重重。因为朝廷拨款修筑河南濮阳一带的堤防，却置徐州于不顾。苏轼继续奏请朝廷，希望增高、加固徐州城墙。同时，他带领官员仔细察看水流的通道，在土堤之外另加木堤。
　　 堤防建好后，喜爱建筑的苏东坡又在徐州东门兴建了一座大楼。按中國五行之说，金、木、水、火、土五种物质相生相克，“水克火，火克金，金克木，木克土，土克水”。于是苏东坡命人将大楼粉刷了一层黄土，起名为黄楼，寓意防水。