严世蕃号东楼，长得短颈肥白，是个大胖子，与其父“瘦削长身”的外貌正好相反。他狡黠机智，博闻强记，熟习典章制度，畅晓经济时务，而且精力旺盛，尤其善于揣摩皇上的好恶喜怒。
严世蕃不是经过科举走上仕途，而是借他父亲的光，先入国子监读书，后做官，累迁至尚宝司少卿和工部左侍郎。据说，他还颇会揣摩别人的心意，跟人谈话，对方说上句，他就知道人家下句要说什么，而且他看人极准，无论对方是老奸巨猾还是天真烂漫，都逃不过他的眼睛。
嘉靖皇帝有一回夜传圣旨，询问某事当如何处理，票拟颇难。严嵩与大学士徐阶、李本在值班房仔细商议，每人各写一帖，提出处理意见，可是经过反复斟酌修改，三人仍觉不妥，始终不敢誊清呈进。严嵩只好派人飞马向严世蕃求教。时间已过四更，太监索取票拟几次了，说皇上“嫌迟滞，有怒容”，要求立刻回报。不得已，三人只好将商议的票拟誊录上呈。太监将三人所拟揭帖拿回，只见皇帝朱笔在上面涂抹了好多处，令重新拟过。恰在这时，严世蕃的回帖来了。太监将其票拟上呈之后，皇帝顿时满意，依拟照办。徐、李二公才真服了。自此，皇上时有要务难题，严嵩等阁臣谋之困窘不能作答者，即交于严世蕃，严世蕃则引经据典，参综陈说，每每能获得皇帝的嘉奖。