1959年的庐山会议，彭德怀率团访问八国刚回来不久，本来要请假，让黄克诚代会，但毛泽东亲自打电话让他参会，彭德怀才决定上山。
6月29日，彭德怀、贺龙、康生、张闻天、习仲勋等集体乘车到武汉，然后换乘轮船，于7月1日早晨6时抵达九江。
一路上，彭德怀与张闻天、贺龙等多有交流。看到红旗点点，人流浮动，炼钢的热情胜似七月骄阳，彭德怀说，多好的人民啊，完不成任务咋办？
贺龙说，那就只好粗制滥造虚报产量了。
彭德怀脱口而出，要不是我们的人民好，也要出现匈牙利事件了。
张闻天闻听，马上制止彭德怀。
彭德怀从7月3日到10日的8天时间内，在小组会上一连作了7次发言或插话，谈了一些情况和问题，有的措辞较严厉。
特别是关于反“左”、反对个人崇拜的问题，彭德怀提出了8条全局性的、尖锐的意见：
1. 人民公社办早了一些，高级社的优越性刚发挥，就公社化，而且没有经过试验，如果试验上一年半年再搞，就好了。
2. 北戴河会议以后，搞了个“左”的东西：“全民办钢铁”这个口号究竟对不对？
3. “全民办工业”，限额以下搞了1.3万多个，现在怎么办？
4. 每个协作区、省要搞个工业系统，这不是一两个五年计划能办到的事情。
5. 我们党内总是“左”的难纠正，“右”的比较好纠正。“左”的一来，压倒一切，许多人不敢讲话。
6. 成绩是伟大的，缺点是一个短时间（9至11月）发生的，而影响则不止3个月。
7. 换来的经验教训是宝贵的，人人有责，人人有一份，包括毛泽东同志在内。我也有一份，至少当时没有反对。
8. 现在不是党委的集体领导作决定，而是个人决定；第一书记决定的算……不建立集体威信，只建立个人威信，是很不正常的，是危险的。
客观地说，彭德怀的上述发言和插话，锋芒毕露，言辞尖锐，也不可能不传到毛的耳中。
7月10日，毛泽东布置讨论会议纪要，7月11日办公厅通知，15日会议结束。彭德怀原打算会议结束到南京视察，但认为会议没有解决问题，就致信毛泽东，此信在7月14日送出。7月15日，中办通知，会议延期。“彭德怀同志的意见书”印发与会代表，而且林彪、陈毅、黄克诚、安子文等也被通知上山开会。7月16日，各小组开始讨论彭德怀的“意见书”，7月18日，彭德怀说这是自己写给毛泽东的私人信件，并不是什么意见书，要求收回，但无人理会。7月23日，毛泽东发表讲话，嬉笑怒骂，纵横捭阖，给彭德怀定性。客观地讲，就几个老帅而言，朱德同情彭德怀，而聂荣臻、叶剑英则不只着眼于信件，而从彭德怀的态度说起，言辞恳切处，让彭德怀究竟是张飞还是魏延，要以低头检讨来证明。林彪话语不多，杀伤力极强，句句一针见血，但林彪澄清了会理会议他写信与彭德怀无关，令彭德怀颇为感激。未见刘伯承、陈毅更多的过激言辞，而颇为显眼的则是贺龙。“目前的主要问题是干劲不足，而不是头脑发热和虚报。我们的缺点还不到一个指头。这么大国家，这么多人，工作上有一点缺点、错误，有什么奇怪的？而且缺点、错误很快纠正。”“我们去年出现的一些‘左’的偏差，也只是在克服了右倾保守错误、执行总路线取得了伟大胜利中，工作方法上有些缺点所产生的。既是这样，就谈不上什么小资产阶级的疯狂性和什么难于克服的错误。”贺龙对彭德怀的信的评价是，“我对彭总给主席的信，觉得在总的估计上是不恰当的，是把问题说得过于严重”，“彭总信上说，今年不可以继续大跃进，这个看法我也不同意”。从贺龙上面的发言可以看出，他也只是就信中的一些具体表述谈了点看法。但是，他此次发言中的一句话，对毛泽东产生了一定影响，他说：“我记得彭总在火车上曾说过：‘如果不是中国工人、农民好，可能要请红军来’。”这句话分量相当重，也引起了毛泽东的高度警觉，因此，毛泽东在23日讲话中，明确提出“解放军不跟我走，我就找红军去”。此话一出，让与会的解放军高级将领非常震惊，以为军队面临分裂的可能，还好毛泽东后面加了半句“我看解放军会跟我走的”，这才让人稍微舒了一口气。贺龙一向为人仗义，为何批起彭德怀来不留情面、火力十足呢？一是对待大跃进持不同观点。贺龙支持大跃进运动，他认为困难虽然存在，但更应看到成绩，指出“当前的问题是干劲不足，而不是方向和具体工作安排或指标上的问题”。贺龙党性很强，坚持自己的观点，为此不惜跟彭德怀对立。尤其是中央已经对彭德怀的“问题”定性，就更没什么好避讳的了。二是私人关系存在一定嫌隙。除刘帅之外，十大元帅里贺龙与彭德怀也不那么融洽。彭德怀为人严肃，和贺龙这样曾在旧军队位高权重且侠气颇重的将领，性格上是不太吻合的。从革命初期，两人的关系就不够和谐。彭德的入党介绍人是段德昌，他入党时间在十大元帅里是最晚的，彭德怀对段德昌极为敬重。但段德昌在“肃反”扩大化中被自己人杀害时，贺龙在场却无能为力，虽然作决定的是夏曦，但这件事在彭德怀心里埋下了种子，从此对贺龙没有好印象。延安期间，彭德怀曾经向毛泽东建议，派贺龙去苏联学习。当时彭德怀已经对贺龙有不小的意见，但毛泽东没有采纳这个提议。后来毛泽东评价这件往事：那个时候，在政治上已经是不信任了。贺龙尽管一直没有明说，但不表示内心没有看法。而在解放战争时期，一野的根基是贺龙的嫡系部队，一野没有由他亲自指挥，而是归彭德怀接管。贺龙没有表达意见，还在1947年彭德怀跟廖汉生、贺炳炎等人发生冲突时支持彭德怀，教训曾经的嫡系部下。但这更多是出于顾全大局的角度，不代表贺龙个人心里没有情绪。庐山会议之后，1959年9月17日，林彪接任国防部长。根据中央政治局决定，中央军委主席为毛泽东，副主席为林彪、贺龙、聂荣臻，而贺龙则主持军委日常工作。11月10日，贺龙为国防工委主任。实际上，在此之前，彭德怀至少有三次提出辞去国防部长一职，都没有得到毛泽东的同意。但在庐山会议上，1959年7月25日，曾希圣质问彭德怀：1962年9月24日至27日，在八届十中全会上，决定成立两个专案审查委员会，对彭德怀和习仲勋进行审查，贺龙任彭德怀专案审查委员会主任。但应该说明，此专案审查历时两年，没有强加给彭德怀所谓“里通外国”的“罪名”。而在1965年，据说也是贺龙顺应领导人的意图，提出取消了军衔制。也是在1965年7月7日，“按照贺龙、康生的指示”，中央党校派人与彭德怀谈话，11月28日，彭德怀再次复出，离开北京赴成都就任三线建设第三副总指挥。