1964年9月，国务院主管农林口工作的谭震林对王震说：考虑你的身体状况，决定你离职休养两年，农垦部长和党组书记职由陈漫远代理。

1966年3月下旬，王震曾短期从湖南回到北京，同许多老同志一样，他不理解为什么要打倒“彭罗陆杨”，不理解为什么要搞这样一场政治运动。6月19日，谭震林再次批准王震“继续休养”，并嘱陈漫远亲自去“动员”催促，王震只得离京回湖南。

随后，农垦部就展开了对王震的揭批斗争。

1966年8月18日，毛泽东首次接见红卫兵，王震也接到请柬，登上天安门城楼。可是，就在当天接见活动结束之后，有人便组织了200多人去王震家。他们事先准备了一个牌子，上面写着“黑帮头子王震”，进门之后，趁王震不备，一下子挂到他的脖子上，狂呼“打倒王震”、“砸烂王震独立王国”等口号。王震怒火中烧，一下子就把牌子摔在地上，并高喊：“我是革命的！老子不挂这个，老子只挂军功章。”

8月24日，周恩来亲自在人民大会堂接见农垦部造反派的代表，明确指出：“王震功大于过。王震从江西红军开始，到长征过草地，都是拥护毛主席的。从铁道兵到农垦部，也一直是跟着毛主席的。”“王震同志够不上黑帮。”“我讲的这些话是经中央政治局常委讨论，是毛主席决定的。”

1969年10月，因战备形势紧张，中共中央准备把一批老同志疏散到外地去，这其中就有王震。国庆节那天，在天安门城楼，王震向毛泽东、周恩来报告想去江西插队落户、参加劳动的想法。毛泽东沉吟了一下说：你下去走一走，看一看，搞点调查研究、科学试验也好。10月18日，王震及其全家离开北京赴江西，开始了两年的下放生活。

1971年九·一三事件后，在周恩来的主持下，陆续起用了一些老同志，王震就是其中之一。9月29日，王震奉召回到北京，不久被任命为国务院业务组成员。1975年，四届人大召开以后，王震出任国务院副总理，分工主管铁道、邮电、交通和供销总社。