曾国藩晚年在家书中回忆，“昔余往年在京，好与诸有大名大位者为仇，亦未始无挺然特立不畏强御之意。”
　　大名大位者之一，就是那位因鸦片战争而出名的琦善。琦善出身贵族，身名早达，二十岁就当了河南巡抚。一度位极人臣，在朝廷中根深蒂固。虽因鸦片战争而被道光“革职锁拿，查抄家产”，但不久就获重新起用，任陕甘总督。咸丰即位后，有人参奏他在陕甘总督任内“妄加诛戮”，“将雍沙番族刑求逼供，杀毙多名”。皇帝命革职交刑部审讯。
　　虽然两度获罪，琦善在京中人缘却一直很好。回到北京后，会审人员只寻“微琐细事”令琦善回答，实际是为他开脱罪责。刑部尚书恒春甚至要将举报人萨迎阿的四名下属当做罪犯抓来，与琦善一同审讯。
　　这明显是违反大清律的。然而对这个建议，满朝无人反对。只有当时兼属刑部侍郎的曾国藩说：“琦善虽位至将相，然既奉旨查办，则研鞫乃其职分；司员职位虽卑，无有传入廷尉与犯官对质之理。若因此得罚，将来大员有罪，谁敢过问者？且谕旨但令会审琦善，未闻讯及司员，必欲传讯，当奏请奉旨然后可。”
　　就是说，琦善虽然权高位重，但既然奉旨查办他的罪行，则自然应该以罪犯待之。举报他的那几个司员官位虽低，现在也仍然是朝廷命官，怎么能像罪犯一样抓来当堂对质？如果举报者被这样对待，将来再有大员犯罪，谁敢过问？况且皇帝只命会审琦善，并没有命令兼审其司员。如果一定要传讯司员，那必须先请旨。
　　刑部尚书恒春不得不取消了这个动议。咸丰二年四月，琦善被革职，发往吉林效力赎罪。
　　另一个“大名大位”者是赛尚阿。咸丰二年初，赛尚阿等因为在镇压太平天国起义军过程中调度不力，日久无功而“交部议处”。朝中众人多力图为之宽减，而曾国藩说“以军务关系重大，议处罪名宜从重者，不当比照成例”。
　　但会议还是决定从宽处罚。曾国藩不服，“会议罢后，公专摺奏请从严议处。” 赛尚阿因此终被革职。
　　本来，曾国藩在京官中人缘颇好。然而，这两次挑战“大名大位”者，却令其人际关系网出现巨大破洞。因为琦善门生故旧遍天下，与穆彰阿关系也颇深。
　　曾国藩打破了“官官相护”的潜规则，成为官场上的异类。案子审完之后，许多人与曾国藩拉开距离，甚至不再往来。他在官场上的处境愈益孤立。“诸公贵人见之或引避，至不与同席。”在背后当然更是遭到无数诋毁之词。弹劾赛尚阿又得罪了一大批人。因此曾国藩在咸丰二年几乎成了京师人人唾骂的人物。
　　在北京的最后一段日子，曾国藩动辄得咎，十分痛苦，愈来愈想念家乡了。
　　他写给弟弟的诗中说：
　　微官冷似支床石，去国情如失乳儿。……
　　径求名酒一干科，轰醉王城百不知。……
　　这是写给弟弟们的。意思是说，我现在做这么一个小官，每天的工作如同支床石一样，疲倦麻木。我天天想念家乡，如同离了娘的小孩。愁闷极了，不如干脆找几瓶好酒，喝得大醉，什么都不知道好了。
　　有时候，他居然后悔进入仕途，梦想过上野人生活：
　　憾我不学山中人，少小从耕拾束薪。
　　世事痴聋百不识，笑置诗书如埃尘。
　　国事颓唐，他百计奋斗，却丝毫无补，不免又一次萌生了退意。在写给陈源兖的信中，他说自己“时时有归家奉养之志”。咸丰元年他在写给欧阳兆熊的信中，说自己近年来因“官牵私系，遂成废物”，还说本想回家奉养父母，但是欠债太多，筹不到路费。不过不久之后，总会克服困难，返回家乡。
　　咸丰二年六月，曾国藩终于得到了江西乡试正考官的外差。不料刚走到安徽太和县，接到了母亲去世的讣闻，当即换装回乡奔丧，至此正式结束了他十四年的京宦生涯。