相传隋唐时期，四川有一户人家，家里有一片橘园，结了许多新鲜美味的橘子。到了冬至，橘园里下了霜，几乎所有的橘子都蔫了，于是主人就把它们都摘了下来。
　　摘着摘着，主人看到不远处枝头上，有两个橘子非但没有蔫，而且黄灿灿的，表面很有光泽。靠近一闻，分外清香，连个头都有西瓜那么大，十分罕见。主人舍不得吃掉它們，就留这两个橘子继续挂在枝头。
　　一天夜晚，北风越刮越大，把橘园主人从睡梦中惊醒。因为心里惦念着那两个大橘子，于是他起身来到橘园之中，结果听到了一阵清脆的叮咚声，还有老人说话的声音。
　　主人很奇怪，想知道声音是从哪里来的，最后发现叮咚声和说话声竟是从那两个大橘子里发出来的。大橘子在黑夜里异常明亮，就像挂在树枝上的两盏红灯笼。
　　橘园主人感到无比惊奇，于是每天晚上都偷偷地到橘园观察，发现天天都是这样。
　　这一日，主人终于按捺不住好奇心，在橘子亮起来的时候，将它们摘下剥开，不承想里面竟是空的，只有两对白发老人，对坐着在下棋。虽然已经没有藏身的地方，但老人们仍旁若无人，专心下棋。此时，主人早已目瞪口呆，不知如何是好。
　　直至棋局终了，一位老人说：“哎，我们离开商山到处游玩，好不容易找到这个下棋的好地方。”主人听了，心想：传说秦末汉初，有四位长者在商山隐居，难道他们就是得道成仙的商山四老？
　　另一位老人说：“多好的下棋的地方，被你破坏了。看来是缘分尽了，我们该走啦。”说完，四位老人随着一阵清风飘然而去，主人后悔不已。