1941年1月皖南事变后，林伟贤被任命为新四军第七师先遣团团长。3月中旬，林伟贤率先遣团进入大别山，在桐城、潜山、怀宁、舒城、霍山、岳西等地开展革命斗争。7月，先遣团在同溪建立了以江滩为中心的抗日游击根据地，广泛发动群众积极开展统一战线工作，发展抗日武装。国民党桐城县防卫大队原队长叶树怀、县常备队中队长张振忠率领的两个支队，在先遣团的统战工作下揭竿而起，改编为新四军游击队。

1942年春，先遣团与童怀谦独立团合编为新四军第七师第五十八团，林伟贤调任第七师副参谋长。1942年2月，林伟贤被任命为新四军第七师长江支队领导、政委。支队辖独立、同东、同西、白虎、蜀鲁五个旅和直属特务连，指挥潮南旅。与此同时，成立了以林伟贤为书记的沿江委员会。雁江区委管辖白湖中心县委、姜妍中心县委、通化前中心县委。

1943年春，为保卫皖中根据地，中共中央局成立沿江支队，下辖六个旅和一个特务连，由林伟贤任支队司令员。与此同时，成立了以林伟贤为书记的沿江党委，下辖3个中央县委员会，担负着保卫新四军第七师机关和皖江区委，坚持和巩固沿江根据地，开辟江南贵池、刘冬等根据地，连接中原新四军第五师的任务。1943年下半年，沿江支队由6个旅扩编为3个团，战斗力大大增强。但国民党反共高潮加剧，皖江顽军以公开进攻抗日根据地的第171师、第176师、第144师、第52师、新第7师取代日军势力范围。仅在11月，他们就发动了12次袭击。

1945年夏，沿江支队改组为新四军第七师第十九旅，由林伟贤任旅长，直至抗日战争胜利。解放战争初期，任华东军区第七纵队副司令员，后迁至苏鲁参加苏北、鲁南、莱芜等战役。1937年秋，任华东军区预备役兵团司令员，在鲁中、鲁南广大地区开展了前期保障工作。两个月之内，动员了8万多农民参军，养了1万多匹骡马和几百万公斤粮食支援前线。1949年上海解放后，他担任淞沪警备副司令，主管内部治安工作。

上海解放初期，斗争形势十分复杂，反革命活动异常猖獗。仅在1949年8月，就有161起土匪活动。因此，当时镇守淞沪的重要任务之一就是与特种部队作战。从1950年4月27日午夜至次日5时，共逮捕敌特和反革命分子8826人，占估计逮捕人数的90%。这次大规模突袭行动迅速，成效显著，许多犯下滔天大罪、拥有多栋别墅的反革命分子被逮捕归案。人民解放军刚进上海的时候，反动派预言上海是个大染缸，解放军红进去黑出来。为此，警备区党委召开专题会议，作出决议，防止嚣张和腐蚀。林伟贤以他在各地的模范行为影响了所有的官兵。在他的带动下，总部、政治部、后勤部的干部经常到基层调查研究，帮助基层解决问题。

1950年11月19日，华东军区公安部队成立，松湖警务室领导机关改为华东公安部队领导机关。此时盘踞在华东沿海诸岛的国民党军队不断叫嚣“反攻大陆”，经常骚扰破坏大陆沿海地区。华东公安部队投入四个师四个团守卫沿海岛屿

魏。

为了掌握第一手海防资料，林伟贤多次深入沿海岛屿考察地形、调兵遣将，歼灭了柬埔塞、路楠、羊屿、鸡口山、万鹏、西洋岛、头门山等20多个岛屿上的土匪；为追求胜利，他先后打败了胡宗南反共救世军、海南第三突击队、国防部反共救世军、东南人民救世军、中国民族起义军等20多个反革命武装组织，击毙敌人3400余人，击落敌机2架，击沉敌舰3艘。

1955年1月，林伟贤协助张爱萍指挥解放军第一次陆海空联合作战，解放弋江山岛。1955年，他被授予中将军衔。后来又担任南京军区、武汉军区副司令员。

1953年林伟贤出任浙江军区司令员后，十分重视沿海岛屿的国防工程建设。当他访问陈达岛时，他发现国民党军队离开该岛时仍然埋有许多地雷，他不顾个人安全，坚持检查该岛的所有要塞部分。林伟贤年轻时很穷，没有上学。参加革命工作后，他坚持学习文化、理论、政策和军事知识几十年，最终从一个放牛娃成长为一名理论素养高、知识丰富的优秀指挥员。他是军事回忆录《敌后三年》的作者。

1981年3月，林伟贤接受中央军委的任务，编写《中国工农红军第二十八军坚持鄂豫皖边区三年游击战争史》。他想看看奋斗了十年的桐城，但由于种种原因，这个愿望没能实现。

1982年，林伟贤当选为中央纪律检查委员会委员。回到1984年的二线。他仍然积极热情地承担了中央军委委托他主持编写《中国工农红军第二十八军战史》的任务。他五次带领作家到鄂豫皖三省31个县，调查核实了58个战斗情节，并如期编撰完成，留下了珍贵的革命斗争史料。

1985年7月。林伟贤因病在武汉去世，享年73岁。