说起「绿帽子」，现代人都明白它的意味，要么是一个男人的女人和别人偷情了，要么是一个女人的男人和别的女人相好了。将「绿帽子」与「红杏出墙」相提并论似乎已经成了条件反射。但这种歧义是从什么时候开始的，却很少有人知道。还有这顶帽子为什么偏偏是绿色的呢？
先来说说这颜色。现代色彩学将颜色分为原色和间色，古代没有「原色」一词，而是采用「正色」的说法。红、黄一类可以直接由花草中直接得到的颜色就是正色，而绿色这种掺杂而成的颜色就相对地位低下，甚至是卑贱。
绿色「不正」这种观念很早就形成了，《诗经》的《国风·邶风·绿衣》中有云：「绿兮衣兮，绿衣黄里。心之忧矣，曷维其已！绿兮衣兮，绿衣黄裳。心之忧矣，曷维其亡！」古人认为这是庄姜夫人因失位而伤己之作，绿色的外衣黄色的衬里、绿色的上衣黄色的下衣，位置完全颠倒了，说的就是卫庄公再娶，庄姜长伴孤灯之事。
这种高低之分在官服上就体现的更明显了。以唐朝的戎装为例，品阶不同的官员除了衣服上所绣的图纹有雄狮、猛虎、飞鹰等区别，颜色则是要三品官以上服紫色，五品官以上服绯色，七品官以上服绿色，九品官以上服碧色，并对应不同的衣料质地。白居易在《琵琶行》中「座中泣下谁最多？江州司马青衫湿。」湿的便是他的从九品官服。
唐宋时期视碧、青、绿诸色为贱民所穿之色，《闻见录》中还记载了唐朝地方官曾把戴绿帽子作为刑罚：「不加杖罚，但令裹碧头巾以辱之」，并根据情节轻重「以日数为等，日满乃释」。沈括在《梦溪笔谈》中也写到过：苏州有不逞子弟，纱帽下著青巾，孙伯纯知州判云「巾帽用青，屠沽何异？」
自元朝开始，碧绿青诸色的服装仅限于娼妓、乐人穿着。《元典章》规定：「娼妓穿皂衫，戴角巾儿；娼妓家长并亲属男子，裹青头巾。」明朝也一样，朱元璋于洪武三年下诏：「乐妓，明角冠，皂褙子，不许与民妻同。」同时还规定：「教坊司伶人常服绿色巾，以别士庶人服。」
在朱元璋的明令下，娼妓家的男子必须头戴绿巾，腰系红褡膊，足穿带毛猪皮鞋，不许在街道中间行走，只准在靠左右两边而行。由此一来，人们见着戴绿帽子的便知道这个人家里有一位青楼女子，戴绿帽子也成为男子让妻女接客或妻子私下「偷人」的代称。随着社会的发展，青楼已不复存在，绿帽子就用来专门讥讽妻子出轨的男人。
还有一种说法，说这绿帽子是一位妇人亲手为他丈夫戴上的。据说那丈夫是个生意人，经常外出，而那妇人生得貌美，早有不少人心生惦记，最终忍不住跟一个卖布的好上了，还差点被丈夫撞见。于是她用一块绿色的布料做了顶帽子，对丈夫说可以防风沙，而且就如我在你身边一般。而实际确是因为绿色鲜艳，可以为她做「警报」罢了。