抵台后,蒋介石、陈诚都没有接见他,胡宗南只得携家眷前往台湾东部的花莲海滨。1950年5月11日,胡宗南突然得到一则信息:“监察院”中有50多名“监察委员”联名对他提出弹劾,言辞激烈,声势吓人。领衔对他提出弹劾的是李梦彪。
李梦彪等人提出的弹劾文洋洋数千言,引证详尽,铿锵有力。据识者言,这是历年来“监察院”弹劾文中难得一见的好文章,也是自1948年“行宪”以来参与签名的监察委员人数最多的两弹劾案之一。
弹劾文首先对台湾当局在整肃失职军政大员方面,空言“切实查照办理,以振纪纲,而挽颓风”表示不满。接着文章列举了胡宗南自1932年底率部进驻陕甘以来所享有的日益增大的权力与种种优厚的待遇,然后笔锋一转,揭露了胡宗南自1949年以来在西北、西南连连战败、丧师失地的种种败迹。
弹劾文最后说道:“窃以为……胡宗南应负重大之罪责,已定于弃成都、飞三亚之前;重以在西昌之措施,适足以促西昌之速亡。事实俱在,焉能为讳……除丑类而奠神州,奈何使纪纲不立?为国家前途计,理合依法,提出弹劾……”
胡宗南弹劾案传开后,台湾各界议论不一,有赞成者,也有反对者,更多的是默默静观者。
胡宗南由于其身份与性格的原因,面对弹劾案,表现得十分镇静。他认为在西北、西南的失败,主要不应是他个人的责任,而是国民党整个党政军的失败。在那些日子里,胡宗南深居简出,从未公开出面活动或辩解。但他的许多僚属与好友却为之多方奔走了。结果,在1950年5月底6月初,由颇有声望的律师江一平领衔,108位“立法委员”署名的陈情书问世了,并很快送呈蒋介石和陈诚。
陈情书将胡宗南这个败军之将,美化成了一员忠勇奋发、战功卓著的有功之臣。其中,战功是虚假的,而将胡宗南比之郭子仪、岳飞等历史名人,更是不伦不类;但所说胡宗南对蒋介石一片忠心,在失败形势下仍拼命挣扎,然而最终却无法避免惨败,那倒是真实的。
在江一平与李梦彪论战期间,胡宗南本人在旧日僚属盛文、罗絮人等人的参助下,也草拟了一篇详细的自辩书,于1950年8月16日提交台湾“国防部”。
但决定弹胡案最后结果的是“总统”蒋介石的态度。蒋介石既不满于胡宗南的丧师失地,同时又感到胡宗南跟随自己20余年,无比忠顺,征战西北、西南,苦多于甜,如果把责任全推给胡宗南,于情于理都说不过去。现在台湾正是多事之秋,像胡宗南这样兵败逃台的将领不在少数,对他们需要安抚,才能安定军心,稳定局面。权衡利弊,蒋介石最后决定放胡宗南过关。
六个月后,“国防部军法处”根据蒋介石的授意,对弹胡案作出叛决,宣布“李梦彪弹胡宗南各项,均与事实相反,不能成立”,认定胡“自无若何刑责,足资论究。……应予不付军法会审。”
与此同时,“司法院”公务员惩诫委员会也申复:认定胡宗南从西安撤到四川,再撤到西昌,历经战斗,并未处置乖方,应免论处。
胡宗南以败军之将,终于逃过了一场政治劫难。但是他从此再未得到蒋介石的重用,只在以后一度担任大陈游击司令与澎湖防守司令等职。胡宗南于1962年2月14日去世,时年66岁。