1976年毛主席去世后，廖汉生提出一个请求，陈锡联回复称确有难处，这其中有何深意？
1975年深秋，中央一纸电报送到各大军区：精简机构、裁减冗员、压缩机关。对久历枪林弹雨的老将领而言，这不是一次简单的数字游戏，而是触及习惯与利益的外科手术。南京长江江面雾气翻滚，军区政委廖汉生抬头看了看对岸灯火，心里只剩一句话——“这回必须先动自己”。他当晚召集党委成员，提出“所有首长一律集中到机关大楼办公住宿”，伙食与营房和连队标准看齐。有人提醒他：“老首长，这么做恐怕意见不少。”廖汉生摆手：“刀口向外容易，向内才见真章。”
集中办公推行后，部长科长们端着搪瓷缸在食堂排队，机关小车大半封存，挤公交、骑自行车成了新风景。几周下来，文件流通速度加倍，部队对整编的抵触情绪反倒缓了。原因很简单：上面肯蹲班房，下面才肯搬铺板。这种自我约束的示范效应，被后来研究者当作那轮精简得以落地的关键环节之一。

进入1976年夏天，廖汉生却被医生“押”到上海，心血管旧疾必须静养。然而8月初，他刚进华东医院没几天，就听到风声——中南海传出最高统帅病情加重的消息。9月6日清晨，一通加急电话打到病房，请他即刻返宁主持应对。廖汉生披衣就走，护士追出来嘟囔：“血压还在往上蹿呢。”他只留下四个字：“情况要紧。”

9月9日凌晨，毛主席逝世的电报送到南京军区值班室。半小时后，廖汉生在会议室宣读中央讣告，声音低却稳。全场鸦雀无声，空气仿佛凝结。随后，他拍板：战区进入一级战备，机关骨干全部移至中山陵招待所集中办公，电话线要保证随时畅通，任何口令必须层层背诵无误。“先稳住部队，再谈悲痛。”这是他当晚说得最多的一句话。
11日，华东局主要负责人彭冲等人奉命北上出席追悼活动。送行前夜，招待所灯火通明。几位老同志围坐小桌，议论着能否亲赴北京告别。廖汉生沉默良久，拨通总参作战值班台，辗转联系到正在主持军委工作的陈锡联。“老陈，我想去北京敬最后一躬。”电话那头停了几秒，只传来一句：“老廖，你这要求，我得请示再回。”对话简短，却透出两人的踟蹰——中央规定大军区主官要稳坐本位，这一去，安排就得从上到下重新调整，麻烦不小。

16日凌晨两点，军委办公厅回电：“中央同意，但限时往返，不对外公布名单。”廖汉生只说了声“明白”，便开始穿衣。上午的军机专机滑出跑道，他靠在椅背上合眼，不到两小时就抵达首都机场。下午四点，他随小范围队伍走进人民大会堂北大厅。灵堂内挽幛低垂，水晶棺静默。廖汉生与几位同行者三步一顿，行至棺前深鞠三躬，无言。停留不到半小时，专机又折返南京。有人悄声问他是否遗憾，他摇头道：“人走了，活人更要守好自己的岗。”
接下来的日子，整编工作紧锣密鼓。番号调整、师团裁减、家属院并点，件件都可能触动千百官兵的去留。廖汉生干脆带着参谋下部队，跑皖南、进赣北，看炊事班、问家属大院，边走边改方案。团部一名年轻排长向他吐苦水：“老首长，裁了编制，我们还能上前线吗？”廖汉生拍拍他肩：“兵不在多，在精。少了帽子，多了拳头，才打得动仗。”

1982年，军委启动新一轮精兵简政。已是古稀之年的廖汉生递上辞呈，交出了百余页《精简整编纪要》，封面只写八个字：“心系边防，兵强则国安”。交班那天，他没有寒暄，只嘱托继任者：“别让机关再胖回去。”此后几年，他常独自下乡，走访退伍老兵，记下农村兵源流向与生产变化，留下满满数十本笔记。2006年10月，他在北京医院安静离世，享年95岁。遗物中除了一枚褪色的八一勋章，就是那本被翻得卷边的纪要原件。护士翻开扉页，上面依旧是那八个字——字迹苍劲，墨色已淡，却分明刻着他当年的决心与担当。