更始三年（公元25年） ，刘秀在鄗城即皇帝位，建元建武。定都洛阳之后，又用了十二年时间，终于平定天下，使得自王莽新朝末年以来四分五裂、战火连年的中国，再次归于一统。

这时，有一个人却悄然归向山林。

他就是刘秀早年的太学同学严光。他凭对昔日同窗的了解，判断刘秀会找自己。果然，严光隐姓埋名于富春山水之际，刘秀真的派人在四处找他。找不到，就“画影图形”，全国寻访。他终于被找到，终于在几次三番后，被请来京师。刘秀来宾馆看他，他正在睡觉。刘秀摸摸他的肚子，对他说：我现在正需要用人，你就不能出来帮帮我吗？严光翻个身继续睡觉。过了会儿，他睁开眼睛，看着刘秀说：读书人本就各有其志，您为什么非要逼迫我呢？刘秀扔下一句“我是不能使你屈就了”，悻悻而去。然而，刘秀心犹不甘，把严光请到宫里，又住了一段时间，漫聊叙旧，甚至同床共眠，留下“足加帝腹”的佳话。可是严光到底没有被留住。他又回到山水之间，终老于富春江畔。

对严光的评价，历来褒贬相伴。贬之者认为：天下既定，出山是一种社会担当。从大处看，是为国为民；往小处说，可以使自己的人生价值得到充分实现。问题是，愿望和现实之间的关系，并不如担当与否那么简单。要不然，那么多以天下为己任的古代贤达名流，怎么会对严光所为赞同、理解，甚至褒扬有加？

唐代古文运动先驱梁肃有云：“先生韬其光，隐而不见建武，反正云雷既定。先生全其道而不屈，消息治乱之际，卷舒夷旷之域，如云出于山，游于天复，归于无间，不可得而累也，则激清风耸，高节以遗后世。”梁肃说的是严光敛藏光芒，隐居不仕，在天下拨乱反正、时局平定之后，坚守初心，不屈从于世俗，在治乱交替之际进退自如，不为外物所牵累，其风骨与节操，将垂范后世。

北宋王安石以诗作评：“汉庭来见一羊裘，闵默还归旧钓舟。迹似蟠溪应有待，世无西伯岂能留。”介甫所咏，是说严光非不出也，未遇如“西伯”之圣君明主也。

南宋学者张南轩则认为：“考子陵之言论风旨，亦非索隐行怪必欲长往而不返者。彼与光武少而相从，知其心度最为详也。”张南轩认为，欲为当时之治，则当时之人才固足办之，并不一定需要严光。严光绝非泛泛之才，倘若出山，必定要把国家治理得超出前代；可是，这一定不是他所能把握的，而他又不愿居高位而徒有虚名，所以，“宁不就之”。这段话是说严光归隐，不是单纯厌弃朝堂，而是基于对刘秀的深度了解所作出的理性抉择。

明代何孟春对严光的评价，跳出了后世常见的“气节高尚”的单一叙事，从东汉初年的皇权政治现实出发，为严光坚持归隐的选择提供了极具说服力的合理性辩护。他列举刘秀“狂奴故态”之哂，“我竟不能下汝耶”等不经意间的语言表露，说明对于比自己年长许多的昔日旧交，刘秀绝无“礼贤”可言。所以，严光当走。

如果说，前面几位从不同的角度，对严光转身而去给予了充分的肯定，那么，刘秀在位三十余年间，先后任免的十余位三公（宰相级官员），他们的遭遇，则是严光必须选择离开的现实佐证。他们有因小过被免职，有入牢狱，却稀有在任满之后体面地退养；尤其是大司徒韩歆，因直言进谏，被刘秀当庭斥责，免职遣返，在回乡途中，被逼自杀。

隐者古来多，子陵独一人。严光值得后世景仰的，其实不是他的归隐，而是他对人性、对权力本质的深刻认识。他所成全的君王“求贤若渴”的佳话，有如一台只有序曲，没有开幕的戏剧，留给人们一片想象的空间，然而他的孤洁清高与淡泊名利，对于后世所产生的积极影响，却实实在在，其“担当”之功，意义深远，且历久弥新。