公元1141年，岳飞遇难。韩世忠立刻交出兵权，闭门谢客，从此不再谈及军事，也不和旧部有任何联系。从此，他就在杭州，在赵构的眼皮子底下隐居了，经常骑着一只小毛驴，号称“清凉居士”，带着一两个童子，在杭州附近的山水间流浪。
1141年的杭州街头，常能看见一位白发老人骑着毛驴慢慢走，他叫自己清凉居士，身后总跟着两三个小童，有时在灵隐寺门口停一停，跟摆摊的老农讲价，买几斤新鲜竹笋，没人知道他就是当年让金兵不敢靠近的韩世忠，也没人懂他交了兵权后，为啥偏偏选在这皇城边上，过起这种闲散日子。
十二年前，韩世忠带着八千水军，在黄天荡把金国十万大军困住，那一仗打完，宋高宗连夜派人送去“定国军”的名号，可到了1141年，还是这个皇帝，看着秦桧把岳飞关进大理寺的牢房，韩世忠当着满朝文武问秦桧，莫须有三个字，怎么让天下人信服，这话一出，朝堂上没人敢出声，可岳飞还是没活下来。
后来韩世忠常去临安的酒楼，有一次宴席上，他叫歌姬唱着小曲给客人斟酒，还指着酒坛子说，这些年带兵打仗，哪有在家酿酒来得踏实，这种举动让不少旧部觉得不对劲，可他知道，绍兴五年时，他手下的韩家军占了南宋九成兵，地方的钱粮也归他管，这种权势比金兵的箭雨更要命。
赵构想和谈，主战的将领就成了挡路的人，张俊靠讨好秦桧才活下来，死后还是被抄家追责，刘锜病死了，谥号拖了三年才批，韩世忠把百万贯军饷、十五座酒库全交上去，奏折末尾还加了一句，臣只想过日子，不再管军政的事，这招学的是当年王翦要田地的老办法，可皇帝的心思向来不讲情面，能活到最后的，不是最忠心的，而是最懂分寸的。