这要从李益的一个性格瑕疵说起。
据《旧唐书》记载，李益“少有痴病，而多猜忌，防闲妻妾，过为苛酷，而有散灰扃户之谈闻于时，故时谓妒痴为‘李益疾’”，也就是说，李益小时候就是个情痴，长大了则成了一个好猜疑、爱嫉妒的醋坛子，老怀疑他的妻妾情人和别的男子有染，以至于外出时在地上撒灰，将门户关锁，借以防范自己的女人出轨。李益的这些病态可笑的怪异行为传开之后，人们就在茶余饭后的街谈巷论中把男性的妒忌吃醋称为“李益疾”了。
李益的好妒心理在他的诗歌中也是有所体现的，比如这首脍炙人口的《江南曲》：“嫁得瞿塘贾，朝朝误妾期。早知潮有信，嫁与弄潮儿。”此诗中，李益将自己想象成一个独守空闺的少妇，日日盼夫夫不归，过尽千帆皆不是，于是就有了移情别恋、红杏出墙的微妙心理。站在女性的角度写完这首诗，李益很可能觉得自己“防闲妻妾”更有道理了，然后醋坛子的症状就进一步加重了。
蒋防之所以将李益写入《霍小玉传》，可能是因为他像后世的曹雪芹一样有一颗怜香惜玉的心，深为受到李益伤害的女性打抱不平。如果此论确实，那么，蒋防称得上是史上第一女权卫士，比写出“西施若解倾吴国，越国亡来又是谁”的罗隐足足早了将近半个世纪。