衛綰是代郡大陵人，因有弄車之技當上郎官，服侍漢文帝，累積功勞逐漸升爲中郎將，性情敦厚謹慎，沒有其他雜念。
衛綰得罪景帝
孝景帝做太子時，曾召請皇上左右近臣宴飲，衛綰裝病不去。漢文帝臨逝前囑咐漢景帝說：“衛綰是個忠厚長者，好生對待他。”到漢景帝即位，過了一年多，對衛綰不聞不問，衛綰則辦事日益謹慎認真。漢景帝前往上林苑，命中郎將衛綰作爲護衛共乘一車。回宮後漢景帝問：“你曉得爲什麼能和我同乘一車嗎？”衛綰說：“我是代郡的戲車之人，僥倖因功升爲中郎將。我不知道爲什麼。”皇帝質問他：“我做皇太子召請你，爲什麼不肯來？”衛綰回答：“真是死罪，我病了。”皇帝賜他劍，衛綰說：“先帝已賜給我六柄劍了，臣不敢再接受賞賜。”皇帝說：“劍是容易被人拿去交換的，難道還獨有你把那些劍儲存至今麼？”衛綰說：“都保留着。”皇上讓取來六柄劍看，劍都在鞘中，不曾取用過。
衛綰被黜還鄉
衛綰的下屬郎官有過失，他總是遮掩，也不與別人爭執，有了功勞，總是謙讓給他人。皇帝認爲他清廉忠實，沒有其他心腸，就任命他爲河間王太傅。吳楚七國之亂時，朝廷詔令衛綰爲將，領河間兵力討伐叛軍，因此立下功勞，升任中尉。三年後，因軍功封爲建陵侯。第二年，皇帝廢除太子劉榮，殺了太子的外家親屬慄卿等人。皇上因爲衛綰年老德高，不忍心動他，賜給告假還鄉，另派郅都審捕慄氏。
衛綰接任丞相
之後，漢景帝立膠東王爲太子，召回衛綰，任命爲太子太傅，升任御史大夫。五年後，替代桃侯劉舍做了丞相。朝中理事，守職分而已。不過他從開始當官直至位居丞相，始終無所建樹也無有過失。皇帝認爲他敦厚老成適於少主，對他很尊重信任，賞賜很多。他做了三年丞相，漢景帝崩逝，漢武帝即位。建元年間，因當初漢景帝臥病之時，官府中多有無辜受冤的囚犯，身爲丞相未能負責申冤，被免去相職。衛綰去世後，諡號哀侯。
衛綰軼事典故
漢武帝即位後，竇太后依然左右朝政，不允許改變治國思想。漢武帝即位不久，就下詔“舉賢良方正能言直諫之士”。丞相衛綰提出在所舉的賢良文學方正之中罷除法家和縱橫家這兩個學派的學者，雖然衛綰沒有提“罷黜百家”，但依然引起竇太后的不滿，幾個月後，衛綰被藉故免去了丞相的職務。
