衞綰是代郡大陵人，因有弄車之技當上郎官，服侍漢文帝，累積功勞逐漸升為中郎將，性情敦厚謹慎，沒有其他雜念。
衞綰得罪景帝
孝景帝做太子時，曾召請皇上左右近臣宴飲，衞綰裝病不去。漢文帝臨逝前囑咐漢景帝説：“衞綰是個忠厚長者，好生對待他。”到漢景帝即位，過了一年多，對衞綰不聞不問，衞綰則辦事日益謹慎認真。漢景帝前往上林苑，命中郎將衞綰作為護衞共乘一車。回宮後漢景帝問：“你曉得為什麼能和我同乘一車嗎？”衞綰説：“我是代郡的戲車之人，僥倖因功升為中郎將。我不知道為什麼。”皇帝質問他：“我做皇太子召請你，為什麼不肯來？”衞綰回答：“真是死罪，我病了。”皇帝賜他劍，衞綰説：“先帝已賜給我六柄劍了，臣不敢再接受賞賜。”皇帝説：“劍是容易被人拿去交換的，難道還獨有你把那些劍保存至今麼？”衞綰説：“都保留着。”皇上讓取來六柄劍看，劍都在鞘中，不曾取用過。
衞綰被黜還鄉
衞綰的下屬郎官有過失，他總是遮掩，也不與別人爭執，有了功勞，總是謙讓給他人。皇帝認為他清廉忠實，沒有其他心腸，就任命他為河間王太傅。吳楚七國之亂時，朝廷詔令衞綰為將，領河間兵力討伐叛軍，因此立下功勞，升任中尉。三年後，因軍功封為建陵侯。第二年，皇帝廢除太子劉榮，殺了太子的外家親屬慄卿等人。皇上因為衞綰年老德高，不忍心動他，賜給告假還鄉，另派郅都審捕慄氏。
衞綰接任丞相
之後，漢景帝立膠東王為太子，召回衞綰，任命為太子太傅，升任御史大夫。五年後，替代桃侯劉舍做了丞相。朝中理事，守職分而已。不過他從開始當官直至位居丞相，始終無所建樹也無有過失。皇帝認為他敦厚老成適於少主，對他很尊重信任，賞賜很多。他做了三年丞相，漢景帝崩逝，漢武帝即位。建元年間，因當初漢景帝卧病之時，官府中多有無辜受冤的囚犯，身為丞相未能負責申冤，被免去相職。衞綰去世後，諡號哀侯。
衞綰軼事典故
漢武帝即位後，竇太后依然左右朝政，不允許改變治國思想。漢武帝即位不久，就下詔“舉賢良方正能言直諫之士”。丞相衞綰提出在所舉的賢良文學方正之中罷除法家和縱橫家這兩個學派的學者，雖然衞綰沒有提“罷黜百家”，但依然引起竇太后的不滿，幾個月後，衞綰被藉故免去了丞相的職務。
