1958年12月，彭德怀来到湖南湘潭进行实地调查。在参观平江县工农业生产展览馆时，一组数字引起了他的警觉。他吃惊地发现，眼前这组数字，竟然是虚假颠倒的。原来，地方组织为了虚报成绩，有意将收成最好的1957年的粮食高产数字，公布为1958年的粮食产量；而将1958年较低的数字，说成是1957年的粮食产量。
对此，彭总当场发火，严厉批评了地方随行人员。为了更好掌握第一手资料，他白天出去走访，晚上回来召开座谈会。越来越多让他痛苦的不良现状，像一层一层被剥开的笋苞一样，不断显露出来。在调查中他发现，所谓的粮食丰产，人民生活富足和正确的大跃进思想，都是严重的欺上瞒下之风。这股歪风已经造成当时的社会发展严重畸形，人民生活水平迅速下滑，如果不及时纠正而任其发展，其恶果将不堪设想。
回京之后，彭德怀如实地向党中央毛主席反映情况，认为小高炉炼铁的代价太大，不是发展方向。由于亲眼目睹群众生活的困苦，这个刚直不阿的大将军，深深感到愧疚。这种愧疚让他的内心产生强大的罪恶感，以至于无法控制自己，火气越来越大。
彭德怀给毛泽东写了一封万言信，谈论自己对国内形势的不同看法，并在1959年7月的庐山会议上，因忍耐不了激动的情绪，与毛主席争吵起来。因为这事，彭德怀受到不公正的批判，终于被罢除官职，搬出中南海，入住北京西北郊的挂甲屯吴家花园。
在吴家花园的断垣残壁里，彭总自耕自种，慢慢将吴家花园装点成一个小小的世外桃源。虽然生活艰难困苦，却因远离政治生活，心情慢慢平静下来。
但是，就算在吴家花园里，他仍然惦记着千千万万的劳苦大众。在给毛泽东写信时表示：“今后，有害于人民的事，我一定不做。”有一天，彭德怀独自在家里闷坐久了，想到园中走走，就把侄女彭梅魁叫过来。叔侄二人相互搀扶着，在吴家花园的小径上，高一脚低一脚，慢慢行走着，一边看着菜园子一边闲谈。