老子在《道德经》第七十章中说：“知我者希，则我贵矣，是以圣人被褐怀玉。”这后四个字影响深远，不仅为数千年来道家学派所崇奉，而且还被许多无意注重着装或无钱供养服饰的文人奉为宗旨。
被褐怀玉，意为不必像儒家那样讲求“文质彬彬”，只要“质”即可。真正的圣人穿着最低贱的粗麻毛类衣服，但他胸怀却高尚博大，心中似玉一般清明且可贵。对此，晋王弼注曰：“被褐者，同其尘，怀玉者，宝其真也……”；宋范应元强调其“外不华饰”；宋苏辙说：“圣人外与人同，而中独异尔。”近代徐绍桢说：“褐，毛布，贱者所服。圣人被褐怀玉者，不欲自炫其玉，而以褐袭之，亦求知希之意也。”
从服饰文化学角度去分析老子的“被褐怀玉”，可以认定，道家从根本上否定甚至反对服饰的修饰作用，而强调内敛深藏的人的美质，“怀玉”的内涵心态恰恰与儒家“佩玉”的外显形式相对立。儒家所提倡的“君子必佩玉”和“君子无故玉不去身”指的是具象的玉，是玉饰件，认为玉有诸德，正是君子所应有的。君子每日佩玉，以便提醒自己，一言一行都要像玉那样具备着仁、智、义、行、勇、辞的美好品质。而道家所提出的玉，是自然的人的纯朴心态，进而上升为高尚深远的未被人为世界所扭曲的人格精神。即使佩玉，也喜欢未经琢磨的璞玉。《庄子·马蹄》中说：“故纯朴不残，孰为牺尊？白玉不毁，孰为珪璋？”反对像儒家那样人工制造礼器和玉饰件，因而破坏了物质的自然形态。
老子在《道德经》第八十章中说到“小国寡民”时，专门提到“甘其食，美其服，安其居，乐其俗。”也就是以其服为美，不必再去为提高服饰水平多费财力物力。
《庄子》中“捉襟见肘”的故事为人所熟知。文中说：“曾子居卫，蕴袍无表，正冠而绝缨，捉襟而见肘，纳履而踵决。”但尽管曾子没有钱购买新衣，依然是“曳屣而歌商颂，声满天地，若出金石。”虽然曾子是孔子的学生，可是在这里被庄子用来说明破衣影响不了人的美质。
《庄子·山木》中记载着这样一个故事：庄子穿着一件粗布衣，而且上面打着补丁，鞋上的系袢没有了，用根麻绳绑着，就这样去见魏王。魏王说：“何先生之惫邪？”庄子反驳道：“贫也，非惫也。士有道德不能行，惫也；衣敝履穿，贫也，非惫也。此所谓非遭时也。”说明衣服破只是贫穷，并不是精神困顿萎靡，也就是说，圣人有德，不在衣饰如何。这是庄子学派的认识。
如今有几人崇尚“被褐怀玉”？不会没有，但很少，因为社会节奏加快，人们见面匆匆判断也匆匆，某人衣着寒酸，首先就给人一个印象：混得不怎么样！当然也可以不在乎，不过有时确实耽误事儿。