1946年6月26日，蒋介石兵分四路大举围攻中原解放区，全面内战爆发。为“战胜蒋军进攻，争取和平前途”，中央军委和毛泽东制定了一个以主力向国民党统治区实行外线出击、力争实现“以打促和”的军事战略方针。这就是“南线三军出击津浦线”“北线夺取三路四城”的战略部署。所谓“北线夺取三路四城”，就是以晋察冀野战军主力和晋绥野战军主力协同作战，逐一占领平汉、正太、同蒲三路和保定、石门（石家庄）、太原、大同四城。所谓“南线三军出击津浦线”，就是以晋冀鲁豫野战军主力5万人、山东野战军主力5万余人、华中野战军主力4万人，合力出击津浦路的徐（州）蚌（埠）段及其两侧地区和蚌（埠）浦（口）段及其东侧地区，随后乘胜渡淮河南下。中央军委和毛泽东一声令下，陈毅指挥山东野战军立即出动。
　　在激烈的争议中，陈毅拍板“我决心消灭桂系在泗县之两个团”
　　1946年7月25日，陈毅率领山东野战军指挥部南越陇海路到达淮北。那段日子，大雨倾盆，连日不停，部队冒雨涉水，步履艰难。
　　7月13日至8月3日，粟裕报请中央军委批准“先在内线打几个胜仗再转至外线”，指挥华中野战军依托内线作战，三战三捷———奇袭宣（家堡）泰（州）、如皋东南运动战、海安运动防御战。宣泰战斗先发制人，歼灭敌整编八十三师两个团以上共3000多人；激战如皋东南，歼敌3个整编师各一部共1万余人，生俘6000多人；海安运动防御战，以伤亡200多人的微小代价，杀伤敌人3000多人。
　　华中野战军连战连捷，给出击外线的山东野战军很大鼓舞，陈毅一度向中央军委表态：“现华中全境，苏中敌气已颓，淮南、淮北敌气正旺，我决心在淮北打一二次好仗”，以“改变局势”。但是，到1946年7月底，敌情发生变化，沿陇海线两侧继续进攻的蒋军主力已增加到15个团，而陈毅手头的21个团的兵力对他们“只能击溃不能歼灭”。7月31日，陈毅和山东野战军参谋长宋时轮联名致电中央军委并刘伯承、邓小平、邓子恢、张鼎丞、粟裕等，决定寻歼桂系军队：“陇海线两侧敌主力均有增加，刻在双沟（位于江苏睢宁县西北）、曹八集（今八义集，位于江苏邳州西部）正集结15个团兵力，因此情况变化，只能击溃不能歼灭，我军决以主力向灵璧、泗县找桂顽求战，拟先消灭两个团，再转而进击津浦路徐宿段。”
　　对于陈毅、宋时轮的主张，山东野战军内部是有不同意见的。据《陈毅传》记载：“野战军司令部参谋处有许多意见认为在水大、部队疲困条件下，攻城、打桂系均不妥。而参谋长则坚决主张歼泗县桂系两个团。在此激烈争议而需要司令员拍板的时候，陈毅不顾‘沟深水满，不好突击’的情况，误信军分区领导干部所说‘泗城外壕水深不过膝’的虚言，没有采纳参谋处大多数人的意见，而支持了参谋长的意见。”接着，中共中央华中分局书记邓子恢、常委张鼎丞也来电建议：应打蒋军不打桂系。对此，陈毅和宋时轮也回绝了，表明自己在事前已经作过慎重考虑，其理由是：“蒋军计8个整旅紧靠在一起，离徐州不到40里，彼此间隔不到10里、20里不等，增援多而快，只能击溃不能歼灭。……故无法下决心去打北线蒋军，但蒋军再向东进，则有打的机会。现桂系4个团，分布在灵璧、泗县、五河3处，其增援均在七八十里以外，打定可能全歼，历来打桂系均用相等兵力，故奏效不大，此次改变是能奏效的。已定5日夜攻泗城不再变。”于是，报告中央军委：“当前之敌一为桂系，一为蒋五军，一为薛岳部九十九旅、六十旅，均系硬货。”“我决心消灭桂系在泗县之两个团，并调动其援队，逐次消灭其二三个团。”
　　对于陈毅、宋时轮寻歼桂系的部署，毛泽东的态度是有保留的。8月3日，他代表中央军委复电陈、宋：“凡只能击溃不能歼灭之仗不要打，只要主力在手总有机会歼敌，过于急躁之意见并不恰当。”对于这份复电，《陈毅传》是这样理解的：“军委复示的基本精神似在于慎重而反对急躁。”的确，毛泽东复电的基本精神“在于慎重而反对急躁”，但同时不排除有言外之意：由李宗仁、白崇禧打造的桂系军队较顽强，想歼灭它必定要付出相当代价，结果可能打成“只能击溃不能歼灭之仗”。
　　对于泗县的攻击，陈毅并未改变决心。诚如《陈毅传》所云：“从当时志在必得的情况来看，对于攻击失利的可能是缺乏思想准备的。”
　　原以为“以多胜少，应当是有把握的”，结果却顿兵挫锐于小小的泗县城下
　　确定泗县攻坚后，根据“南线三军出击津浦线”计划，陈毅要求粟裕率领华中野战军西移淮南外线作战，发挥有力的钳制作用；粟裕则向毛泽东、陈毅力陈在内线作战的优点，并正在酝酿新的歼灭战。1946年8月4日，毛泽东致电陈毅、宋时轮：“（一）叶赖纵队（即山东野战军第一纵队，司令员叶飞、政委赖传珠）决定南调不再改变。（二）粟裕集团应否于此时调动各有利害，待考虑再告。（三）你们手里有五万机动兵力，只要有耐心不性急，总可找到各个歼敌之机会，除灵（璧）泗（县）两地敌分散孤立外，双沟之敌再向东进，即可找到打好仗之机会，如能打三四次每次歼敌二三个团之仗，即可转换局势。（四）攻泗结果如何？”
　　在电报中，毛泽东同意山东野战军第一纵队在完成胶济路作战任务后，按预定方案南下淮北作战，以加强攻打泗县兵力。同时，他不再坚持要华中野战军（粟裕集团）西移淮南进行外线作战，“此时调动各有利害”，并认为山东野战军“总可找到各个歼敌之机会”，“可转换局势”。最后，他还挂念着：“攻泗结果如何？”
　　毛泽东的电报，给山东野战军指明了方向，也给陈毅增加了压力。攻泗行动，紧锣密鼓地展开了。
　　桂系第七军之第一七二师很不一般：老兵多，当兵时间平均在7年以上；善守，是他们的特点。应该说，这次山东野战军对该师没有掉以轻心：敌方仅仅2个团，山东野战军南下部队却有近20个团。诚如《陈毅传》所言：“以多胜少，应当是有把握的。”然而，当时正值暴雨季节，本来就河多沟深的泗县地区一片泽国。出击泗县，部队在齐胸的积水中艰难行进，炮车无法跟上，弹药大多受潮失效，部队相当疲劳。部队信心也不足。“由于部署变更仓促，既未能组织各方面攻击部队之间的协同动作，致使担任主攻的八师负担过重，又未能进行周详的战术侦察，因此担任攻城突击任务的八师感觉把握不大”。但是，陈毅有自己的考虑：战机不可失！要赶在敌第七军部署调整未完与敌第五军未到淮北之时，干掉敌第一七二师主力。