1926年张灵甫听从于右任的建议考入黄埔军校，成为黄埔四期学员，与后来的同僚胡琏、李弥，以及对手林彪、刘志丹是同学。
　　张灵甫从黄埔军校毕业后，一直在蒋介石的嫡系第一军任职。不仅如此，张灵甫所在的第一师是第一军里的王牌，可谓嫡系中的嫡系。第一师师长胡宗南对张灵甫十分器重，视为心腹。1933年，年仅30岁的张灵甫就当上了第一师独立旅第1团上校团长。
　　张灵甫所部在四川与红四方面军交战，经部队朋友介绍，张灵甫与吴海兰相识。1933年冬，两人在四川广元拜堂成亲。一年后，女儿张清芳出世，一家人其乐融融。不料1935年竟发生了“团长古城杀妻”的惨剧。
　　张灵甫究竟为何杀死自己的妻子？据张灵甫的后任妻子王玉龄回忆，张灵甫曾说：“她拿了我的东西，我问她又死不开口。”但张灵甫并没有解释吴海兰到底拿了他的什么东西，以致他痛下杀手。直到张灵甫死后多年，当年与他私交甚笃，曾经长期在他手下任职的刘光宇透露了玄机：“吴海兰偷了张灵甫的文件。”
　　当时胡宗南的部队一直在川陕一带与红四方面军激战，当地也有共产党的地下组织活动，张灵甫担心妻子可能沾了共产党的边，但在事情没搞清楚之前又不便声张，于是就暗地里向妻子盘查，不料吴海兰对此保持沉默，惹得他气急败坏。他的性格又容不得“背叛”二字，不能接受吴海兰有通共嫌疑，对爱妻的“背叛”行为极为震怒，拔枪的瞬间，眼睛里已经没有爱妻，只有“共党”了
　　民间还流传一种说法是张灵甫怀疑妻子与其他男人通奸而起了杀意。
　　不論什么原因，吴海兰死于张灵甫之手。吴海兰的父母自然要讨回公道，他们去西安递状纸上告。张学良的夫人于凤至知道后，愤愤不平，打长途电话给远在南京的宋美龄：“王子犯法，庶民同罪，你们要秉公严惩！”西安各界妇女也表示极大义愤，联合上书全国妇女部长宋美龄，要求严惩凶手。蒋介石闻之十分生气，吩咐将人送南京军事法庭查办，胡宗南对这个下属憨直的脾气较为了解，就让张灵甫自己去南京投案，张灵甫从陕西径自去了南京的军法处自首，被拘押于老虎桥模范监狱，初审内定为死刑，后改判10年徒刑。
　　1937年初，张灵甫出狱了！出狱原因一说是张灵甫在狱中递交了申诉书为法庭所接受，故而原判刑罚没有执行；一说是因为日本人咄咄逼人，为了抗战大局，蒋介石开释了除政治犯之外的所有在押官兵，让他们一律归队，戴罪立功。张灵甫重新回到了部队，加入了正驻扎汉中的旧识王耀武的51师。
　　1939年3月，张灵甫参加南昌会战，在高安战役中右腿中弹负伤，由于当地医疗条件限制，医生告诉张灵甫可能要截肢。张灵甫听后立即反对：“不行！锯了腿我还怎么回去领兵打仗！”后来在王耀武、薛岳的帮助下，张灵甫终被转到器材设备先进的香港玛丽医院。手术后医生告诉他必须疗养数月。在医院，张灵甫在报纸上读到一条“战时军人不宜出国养病”的新规定后，便坚持要提前出院。好心的院长劝他再疗养半个月便可痊愈，张灵甫说：“军人死且不惧，何爱一肢？”说完便拄着拐杖离去。从此，张灵甫的右腿膝盖变得僵直不能弯曲，便得了一个“瘸腿将军”的绰号。面对残疾，张灵甫说：“吾张某人腿虽废，无以站立，然中华民族得以站立，不为倭贼所欺，吾之腿值也！”1940年冬，张灵甫出任74军58师副师长。74军曾荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为抗日铁军。