自褚肥以後至西漢大約五百年時間，其間褚氏的世系情況，因缺乏歷史資料不敢妄論。
西漢初期，漢高祖劉邦為鞏固新建立的漢王朝，大封劉姓王，其中封兒子劉恢為樑王（《中國通史》第二冊44頁）。《漢書》又記載漢文帝劉恆（公元前179年至公元前157年在位）的二兒子劉武、四兒子劉揖於漢文帝二年二月被封為樑國國王，劉武為樑孝王，劉揖為樑懷王。那時漢文帝二十四歲，他的兩個兒子也只能是四五歲的幼童，雖説被封為樑王，但國內的軍政大權實際掌握在丞相手中（大多封國都如此）。那時樑國國內總人口106752人，38709户，（户數與人數矛盾，有誤），所轄有碭、甾、蒙、杼秋、已氏、虞、下邑、睢陽八縣。地處今徐州市西和西南。
大約在公元前150年前後，褚大（音代dai）被任命為樑國丞相。褚大他自幼好學，文武兼備，尤其受業於董仲舒，深精《公羊春秋》經史兵學，他被任用為樑相，以超眾的才能治理樑國。但是，由於漢朝廷與樑王都具有極度腐敗的本質，他們相互傾履，殺戮，漢室驅逐漢官，樑國發生了多次動亂。褚大可能出於自潔自保的目的，不再任樑相，也不再回原籍居住，來到了遠離樑國的嶧縣（今棗莊市南嶧城區）安居，成為了嶧縣最早的褚姓人。《嶧縣誌》漢代鄉賢卷中記載： “褚大，蘭陵人，與東平贏公、廣川殷仲温、呂步舒，同受《公羊春秋》於董種舒，官至樑相”。因嶧地在漢時曾屬蘭陵郡，故稱蘭陵人。光鏌祖説：“予族隸籍於嶧最久，自漢亦為嶧人”，就是指的褚大。褚大的後裔在嶧縣地區繁衍生息，成了蘭陵褚氏的先祖。
褚少孫，大約出生在公元前一世紀七十年代西漢後期。是位了不起的大學問家，他飽學經書史籍，廣採百家，尤其精通經學、史學，文學造詣很高，他是西漢後期出名的大博士。他用幾十年的時間研究司馬遷的《史記》，收集了諸多資料，補撰史書，彌補了《史記》漏載的史事，又記載了從漢武帝（前140年－－前87年在位）至漢成帝（前32年一一前7年在位）間的歷史。褚少孫的史學成就歷史地位很高，因此，其後的文人史官都尊稱他為褚先生，而不直呼其名。南常褚氏家祠裏有對聯“漢儒林續補史篇”，即指褚少孫事蹟。
褚少孫的後裔有個叫褚重的，是東漢前期人，他開始遷居到陽翟。
褚重的後裔有個叫褚招的，家居河南陽翟，出生在公元后160年前後，是東漢漢桓帝、漢靈帝、漢獻帝時代人。褚招很有軍事才能，任漢安東將軍、揚州都督，封關內侯。
自褚招以後至唐朝，褚姓人物顯赫，事蹟輝煌，在《晉書》、《宋書》、《南齊書》、《梁書》、《陳書》、《北齊書》、《南史》、《北史》、《隋書》、《舊唐書》、《新唐書》中記載的很詳細。略述如下：
褚招的孫子叫褚磐，字武良，生在220年東漢末期。其家貧，但自幼勤學，十分有氣度，有局量，善於用巧妙的方法化解矛盾。當地縣吏有難事總請他出面斡旋，有時候縣令大發雷霆，經他一説，縣吏就順從了他的意見，有時候縣吏辦案用刑，他就出面勸止，那些被免了刑罰的人，對他十分感激。他經歷了三國時期，到了西晉初武帝（265－－290年在位）時，他已經五十歲了，他的好朋友晉鎮南將軍羊祜向晉武帝推薦了他，逐漸升任官至安東將軍。後來晉朝國內混亂，他一家就從河南陽翟遷居到江南丹陽，從此，褚氏走向了顯赫。他生有五個兒子：褚頒頠（音委wei）、褚説、褚洽、褚裕、褚祥。
褚頠自幼天資聰敏，很有名氣，但早卒。褚頠的兒子叫褚燹（音煞sha）。
褚燹，字謀遠，生於西晉武帝泰始十年（274年），卒於東晉成帝鹹康七年341年），享年67歲。據《晉書》（唐太宗御撰）卷七十七褚燹傳記載：褚燹以極優秀才藝襲關內侯，補冠軍參軍。當時晉國內混亂，他審時度勢，預知國將有難，就棄官不做，周遊了各地，率數千家將攻殺胡虜。314年覆被任命為豫州司馬，散騎郎轉任太子中庶子，奮威將軍，淮南內史。323年東晉明帝任他為屯騎校尉，升任太子左衞。成帝初時任左衞將軍，侍中典。當時晉國大亂，叛軍攻入都城，朝廷的軍隊敗退，只有他奮身保護皇上，抱着晉成帝登上太極殿前殿，吒退敵兵，才保住成帝性命。因功被封為長平縣伯，升丹陽尹。他又修復宮殿，召集失散羣臣，實行惠政，又被升任五兵尚書，加奉車都尉。再升尚書右僕射轉左僕射（宰相）、加散騎常侍、護衞將軍常侍。341年卒，追贈為衞將軍。諡號曰穆。他的兒子名叫褚希，官至豫章太守。
褚智第三個兒子叫褚洽，在西晉時任武昌太守。褚洽生了兩個兒子，長子褚鄉，任征討大都督，次子褚裒（音剖pou），特別顯赫。
褚裒，字季野，生於西晉惠帝永寧二年（302年），卒於東晉穆帝永和五年（349年）。《晉書》卷九十三有褚裒傳，説褚裒很小的時候就有十分顯貴的氣度，桓彝一見面就説：褚裒有皮裏春秋，所以現有成語“皮裏春秋”即出自褚裒的典故。謝安見了褚裒説：不用聽褚裒説話，就知道他四時之氣全備也。因此謝安對褚裒特別敬重。褚裒初時任吳王文學，接着任參軍，以功勞封都鄉亭侯，又接着升遷司徒從事、黃門侍郎、豫章太守。到了東晉康帝司馬嶽即位（343年）時被拜為侍中，升任尚書、衞將軍領中書令。這時他的女兒已被封為皇后，褚裒認為在朝任職不方便，為避嫌再三要求外任，隨任左將軍，兗州刺史，都督兗州、徐州、琅邪（音牙ya）諸軍事，節鎮金城又領琅邪內史。後來又進封為徵北大將軍，率兵北伐胡虜，收復失地，深得民心。有徵戰時褚裒總身先士卒，衝鋒在前，有失誤時也總是先檢討自己，不亂推卸責任，眾將佩服。褚裒平時特別清廉，曾經有位大官私下送禮試探，被褚裒斥責。褚裒一生憂國憂民，終因未能全部收復北方失地而悔恨不已，積勞成疾，47歲病死，朝廷追贈侍中太傅，諡曰元穆。褚裒生二子一女，長子褚歆（音新xin），以才學盛名，任散騎常侍、祕書監。次子褚熙，不仕。女兒為康獻皇后。
康獻褚皇后，生於東晉初晉元帝永昌二年（323年），崩於東晉後期晉孝武帝太元九年（384年），享年61歲。康獻皇后自幼聰慧，很有器識，知書達理，貌美性柔，她以名門宦家之女嫁給琅邪王司馬嶽，為王妃。342年6月，22歲的晉成帝司馬衍病死了，21歲的弟弟司馬嶽繼承帝位，帝號晉康帝，同年12月，褚王妃被冊立為皇后，這時褚皇后年僅19歲。344年，晉康帝司馬嶽又病死了，只有個2歲的兒子司馬聃，這樣就只好由司馬聃為皇帝，是為晉穆帝，晉穆帝就封他母親褚皇后為康獻皇太后。2歲的孩子怎麼能治理朝政呢，於是有人提議讓他的外祖父褚裒來當政，褚裒當然不會接受，就只好由他母親褚皇太后抱着這個孩子當皇帝，一切權力由皇太后行使，史稱褚皇太后第一次臨朝攝政。褚太后恭謙有禮，日夜勤勞，善待羣臣，選賢任能，極力平叛五胡，保持國家穩定，雖臨朝不專權，雖攝政無野心。362年，這個19歲的晉穆帝死了，晉哀帝司馬丕即位，這個年輕無知的皇帝無法理政，褚太后第二次臨朝稱制。到了晉簡文帝時，尊褚皇太后為崇德皇太后，褚太后再次臨朝稱制，親自處理軍國大事。373年，晉孝武帝即位，這個皇帝也年幼，褚太后只得第四次臨朝稱制，收拾混亂局面。384年，褚太后崩。自344年至384年，其間四次臨朝，凡在位四十年。當時正值東晉朝廷衰微、外敵入侵、地方割據、王室衝突、五胡亂華、十六國迭起的時期，但是經過褚太后的治理，動亂和戰爭總是局部的，短期的，破壞性並不大，整體上社會較安定，經濟和文化得到了發展。
褚爽，字弘茂，小字期生，他的祖父是褚裒，父親是褚歆。褚爽少年時勤學有志，賢有盛名，謝安特別器重他，經常對別人説：“若期生不佳，我不復論士矣”。褚爽曾任義興太守，但年輕時就病故了。由於他的女兒是恭思皇后，就被追贈為金紫光祿大夫。褚爽生五子一女：褚秀之、褚粹之、褚陟之、褚裕之、褚淡之、恭思褚皇后。粹之、陟之不顯，秀之、裕之後裔繁茂。
褚秀之，字長清，生在東晉中後期晉孝武帝太元二年（377年），卒於南北朝時的宋文帝元嘉元年（424年），享47歲。歷任東晉琅邪王從事、中郎、黃門侍郎。宋武帝時任鎮西長史，升侍中、大司馬、右司馬、祠部尚書，任太常。褚秀之之妹為恭思皇后，但從不靠皇親謀事，雖然經歷東晉和宋朝的更替，但做官辦事十分盡心。褚秀之生四子：褚雋之、褚湛之、褚貞之、褚法顯。
褚淡之，字仲源，父褚爽。褚秀之弟。東晉中後期至南北朝宋朝時期人，歷任車騎從事、中郎尚書、吏部郎、廷尉卿、左衞將軍、侍中、會稽太守，與晉帝、宋武帝有密。424年卒，年45歲，諡號質子。
褚裕之，字叔度，生於東晉中後期（380年），卒於南朝宋少帝景平二年（424年），褚爽第四子。《宋書》卷五十二、《南史》卷二十八均有褚裕之列傳。初為東晉琅邪王參軍，宋武帝時任車騎參軍、中軍諮議參軍加建威將軍。盡力征討鮮卑，以軍功授廣州刺史加督都建威將軍領平越中郎將，因賄免官，但能改過。宋武帝念其宦門士家、幹才純練，十分愛慕，任命為散騎常侍、徵虜將軍、雍州刺史，義成太守。在任特別清正廉潔，不為錢財所動，深受人民擁戴。褚裕之二子，長子褚恬之，官至琅邪太守，褚恬之生子褚昭，嗣官。褚昭子褚碹，在南齊朝任官。褚裕之次子褚寂之，任着作佐郎，早卒。褚寂之子褚暖，娶宋文帝第六女真長公主，任太宰參軍，亦早卒。褚暖子褚績，太子舍人，亦娶宋帝公主為妻，褚績子叫褚球。
褚球，字仲寶，出生於南北朝時期的宋末，卒於樑末（約470——540年）。褚球小時候既孤又貧，生計艱難，但篤志好學，才思聰敏，性直清高。成年時因家貧娶不起媳婦，時有宋建平王被誅滅時留下的一個女兒，寄養在故吏家，才得娶之為妻。初任徵虜參軍，升溧陽縣令，為官清正，克已而奉公。503年升任太子洗馬、散騎侍郎兼中書通事舍人，建康令。因母親有病而辭官事母，後又任諮議參軍、遷中書郎兼中書通事舍人，光祿卿舍人，再升御史中丞。褚球性公強無所屈撓，任御史特別稱職。又升北中郎長史，南蘭陵太守，改任通直散騎常侍領羽林監，又升太府卿，都官尚書，江夏太守，貞威將軍，光祿大夫加給事中。享年70歲。
恭思褚皇后，諱靈媛，生於東晉孝武帝太元八年（383年），崩於南朝宋文帝元嘉十三年（436年），父親褚爽。晉恭帝司馬德文（419－－420年在位，420年東晉滅亡）即位前為琅邪王，當時褚皇后為王妃，419年恭帝即位，被封為皇后。420年東晉王朝被宋武帝所滅，恭帝降宋禪位，被貶為零陵王，恭思褚皇后亦隨之貶為零陵王妃，436年崩，享年53歲。
褚秀之的次子叫褚湛之，字休玄，生在東晉末年晉安帝義熙六年（410年），卒在南朝宋孝武帝大明四年（460年）。褚湛之出身累以世家，自小受良好教育，文才武略上乘。開始娶宋武帝劉裕第七女始安哀公主，拜為駙馬都尉，着作佐郎，始安哀公主死，又娶宋武帝第五女吳郡宣公主為妻。褚湛之只所以能兩次尚公主，主要原因是褚湛之累以士家，名門望族的世胄，宋武帝、宋文帝特別看重他。後又任太子中庶人，司徒左長史、侍中、左衞將軍、左户尚書、丹陽尹、吏部尚書、尚書右僕射、中書令、尚書左僕射、封都鄉侯。460年湛之卒，諡曰敬侯。褚湛之生有二子，長子褚淵，次子褚澄，皆顯位。
褚淵，字彥回，南朝宋、齊時代人（約440年——488年）。彥回小時候很有器量，十餘歲時，他父親褚湛之的一個門生偷了褚湛之的衣物，正被彥回撞見，彥回對那門生説：快藏起來別讓人看見。那門生羞愧得不辭而別了。他父親有一牛，特別寵愛，不慎掉到天井裏，褚湛之率左右營救，但彥回卻不屑一顧。及長，彥回娶宋文帝女南郡獻公主，拜駙馬都尉，世謂姑侄二世相繼拜駙馬。父湛之卒，所有全部家產，彥回一分不要，全都讓給弟弟褚澄，其中有兩廚子寶物，彥回的嫡母與庶母相爭，彥回也勸母親讓出，彥回僅要了詩書數千卷。彥回襲鄉侯，任尚書吏部郎。這時山陰公主悦彥迴風貌，想與私通，騙彥回人室，百般挑逗，但彥回整身而立，十日內日夜不動，山陰公主無奈地説：君真彬彬如戟也。465年，任宋吏部尚書，朝中有個人在袖中密藏一個金餅找彥回求官，那個人對彥回説：我把這金餅送給你，沒有另外任何人知道。彥回説：你想做官應憑自己的本事取得，無須藉此物，你如果非送給我不行，那麼我不得不告發你。那個人害怕，只好收金而去。彥回任侍中領尚書右衞將軍時，宋明帝朝會百官，見彥回美儀、貌善，容止、俯仰、進退皆有大風度，歎曰：“褚彥回能遲行緩步，便得宰相矣”。宋明帝病重，召彥回託孤，輔佐幼主，並任彥回為吏部尚書、衞尉卿兼尚書右僕射、中書令、衞護將軍。受顧命輔佐幼主登基，整肅吏治，發展生產。又任中書監，侍中護軍、封為侯。
466年，母親病重，彥回回家侍母。南齊初任中書監、司空，升司徒領侍中、中書監、尚書令。彥回多才，彈奏琵琶尤得神韻。彥回先後在宋、齊兩朝六個皇帝間任官，年48歲薨，家無餘財，尚欠債數十萬錢。詔贈太宰，諡曰文簡，封官品第一。按太保王禮安葬。彥回生二子。長子褚賁（音碧bi），字蔚先，任南齊侍中領步兵校衞、左户尚書。他始終認為齊滅宋，自己不該在齊任官，晚年居家。褚賁子褚霽（音計ii），任巴東郡侯。彥回次子褚蓁（音珍zhen），字茂緒，任義興太守，改封巴東郡侯，太子詹事，度支尚書領前軍將軍，太常，499年卒，諡號穆子。褚蓁子褚向，字景政，是有名的美男子，風雅有器量，任樑朝中郎廬陵王長史。褚向子褚翔。
褚翔，字世舉，生於南朝梁武帝天監三年（504年），卒於梁武帝太清二年（548年）。初任祕書郎，升宣城王主簿。29歲時，梁武帝召集百官羣臣遊樂，讓羣臣三刻為限作詩，褚翔立成，一鳴驚四座，梁武帝當即封褚翔為宣城王文學加正王二等。又升任義興太守，在任期間善政多多，任滿時百姓請求留任，詔許之。後來任命為吏部郎，當褚翔離開義興時，全郡百姓不分老幼，泣送出境，一直追送到境外，山呼恩公。後任吏部尚書。褚翔至孝，母病時祈福動天，母卒後亦憂母而卒。
褚澄，字彥道，是褚湛之的次子，彥回的弟弟，宋武帝第五女吳郡宣公主所生。褚澄娶宋文帝女廬江公主，拜為駙馬都尉，任吳郡太守，醫術精奇，又升左户尚書，御史中丞，侍中領右軍將軍。499年卒，追贈為金紫光祿大夫。其生女為南齊東昏皇后。
東昏褚皇后，名諱令琚，495年納為南齊皇太子肖寶卷正妃，499年肖寶卷即位，帝號東昏帝，冊正妃為皇后。因肖寶卷與姐姐山陰公主淫亂，致使皇帝與皇后不和，皇帝便廢褚皇后為庶人，南齊王朝隨即滅亡了。
迴文再説褚爽的孫子、褚秀之的四子褚法顯。褚法顯任鄱陽太守，生有二子，長子褚熠，次子褚炫。褚熠字彥宣，文學出眾，通經史、性耿直，愛清貧，他對伯父兄褚彥回先事宋後事齊極為不滿，誓死不在齊朝任官，雖身為國子博士但終身不仕。褚法顯次子褚炫官顯。
褚炫，字彥緒，南朝宋末齊初時代人。少時文才卓着，任國子博士，時為文學四友之一。宋朝時任太子舍人，撫軍車騎。有次隨宋明帝狩獵，褚炫言語甚得明帝歡心，當場任命為中書侍郎、司徒右長史。遷黃門郎，驃騎長史，侍中。齊初任東陽太守、輔國將軍、冠軍長史、江夏內史、後升吏部尚書、散騎常侍領安城王師。卒年41歲，詔贈太常，諡曰貞子，褚炫一生清高，雖為官多年，而家貧如洗，無錢殯葬。褚炫生子褚雲。褚雲在齊時任曲河令，升任烏程令、延陵令、中書侍郎、御史中丞。褚雲的兒子叫褚蒙，任太子舍人。褚蒙的兒子叫褚玠。
褚玠，字温禮，生於樑中期531年，卒於陳末隋初583年。九歲而孤，靠叔父撫養，自幼美風儀善、佔對博學、膽識過人。初任通直散騎常侍，升中書侍郎，轉任山陰縣令，勵精圖治，奮力懲處地方惡勢力，從而得罪朝中大官，被免官後以種地為生。皇太子深知他有德才，覆被啟用，遷御史中丞，為官清正，被譽為“直繩御史”。52歲卒，詔贈祕書監，皇太子親撰墓誌銘以表其德。他着有文章二百卷，皆切事理。被世人重視。其生子名叫褚亮。
褚亮，字希明，祖籍河南陽翟，先祖自晉朝時徙江南丹陽，其家居杭州錢塘，生於南朝陳武帝永定三年（559年），經陳歷隋至唐，卒於唐太宗貞觀二十一年（647年）。褚亮幼時聰敏好學，博覽羣書無所不至，經目必記，奮力上進，廣交名賢，尤善談論。年18歲任陳朝僕射，深得陳後主愛慕，升尚書殿中侍郎。隋朝時為東宮大學士，授太常博士，黃門侍郎。唐李世民聞褚亮賢名，深加禮儀，唐初授秦王文學，李世民凡有徵戰，必讓褚亮隨之，常與褚亮交談，深受教誨。又授文學館學士，為唐初十八學士之一，任太子舍人升太子中允。貞觀元年授弘文館大學士，李世民非得褚亮形影不離。貞觀九年升散騎常侍，封陽翟縣男，拜通直散騎常侍，學士如故。貞觀十六年進爵為侯，食邑七百户，後致仕歸家，卒年88歲，詔贈太常卿，賠葬昭陵，諡曰康。褚亮生四子，長子褚遂賢襲侯，以次子褚遂良最顯，唐高宗時官至宰相。
褚遂良，字登善，隋文帝開皇十五年（595年）生，唐高宗顯慶三年（658年）卒。褚遂良少年時與父親褚亮一起在薛舉處謀事，任通事舍人。薛舉敗後，褚遂良才歸唐，任泰州都督府參軍。褚遂良自幼博涉文史，精通經籍，多才多識，尤工隸書書法造詣甚高，名列唐初叫大書法家之一。褚遂良書法深得“二王”神韻，如“美女嬋娟，不勝羅綺”，“少則服膺虞監，長則祖述右軍”，達到瘦硬至極的地步。同時褚遂良也是書法鑑賞家、評論家。加上褚遂良性忠烈、重品德、不放蕩，深得魏徵的敬慕，魏徵專門蒐集褚遂良墨跡珍藏。唐太宗李世民也酷愛書法，他對王羲之的書法頂禮莫拜，心摹手追，千方百計搜求王羲之的墨跡，據説曾派肖翼到釋辨才處騙取王書《蘭亭序》，觀賞了一生還覺得不夠，下令作為他的殉葬品。虞世南、歐陽詢死後，唐太宗因怕再沒有人能與他論書、賞書而懊惱不已。
正在這時，魏徵向唐太宗推薦了褚遂良，褚遂良的特點正合李世民的口味，喜不勝喜，對褚遂良大加讚賞，授褚遂良任祕書郎，升起居郎。褚遂良對唐太宗的一切行止均如實記錄，成為唐太宗的密友。641年，唐太宗要出遊洛陽、到泰山封禪，經褚遂良勸止，太宗採納了褚遂良的建議，任褚遂良為諫議大夫兼起居事。有次太宗問羣臣：當今何事最急，羣臣各述已見，都不趁太宗心意，褚遂良説當今急事莫過冊立太子，一語中的，太宗甚喜。太宗有意想用珍物，褚遂良講述了驕奢誤國、勞民傷財的道理，太宗説，唯有褚遂良心裏想着國家。太宗年老時，常為繼承人的事犯愁，徵求褚遂良的意見，遂良陳説了一番利害，太宗感動地哭着稱是，升褚遂良為太子賓客。為了安定吐蕃，朝議使文成公主下嫁，太宗搖擺不定，經褚遂良極力勸説，才促成文成公主嫁給松贊干布，實現了唐與吐蕃的長期和好。升任褚遂良黃門侍郎，參預朝政。太宗期間，褚遂良就國家大事諫奏數十次，大多被太宗採納，加官為光祿大夫。又升任檢校大理卿。
太宗二十一年，褚遂良葬父後，官復原職，又拜中書令。649年唐太宗病重，召褚遂良、長孫無忌二人入宮託孤，太宗説：“卿等忠烈，備在朕心，昔漢武寄霍光，劉備託諸葛，朕之後事一以委卿，太子仁孝，卿之所悉，必須盡誠輔佐，永保宗社”。又牽太子李治的手説：“無忌、遂良在，國家之事汝無憂矣”。説罷乃命遂良起草託孤詔書。太宗死高宗李治即位。賜褚遂良爵，為江南縣公，進封郡公，後任同州刺史。652年正月，拜褚遂良為吏部尚書同中書門下三品，監修國史，加光祿大夫兼太子賓客。653年9月，拜尚書右僕射（宰相）。655年，高宗欲廢王皇后改立武昭儀為皇后（武則天於636年14歲入宮，為唐太宗幼妾，太宗死武為感業寺比丘尼，654年被高宗取入宮中為昭儀）。召褚遂良、太尉長孫無忌、司空李勤、于志寧人宮商議，褚遂良大義凜然，説：王皇后無過錯，武昭儀已身事太宗，不可行廢立之事。高宗不聽，褚遂良苦諫再四，無奈致笏板於高宗面前，説“還陛下此笏”，接着解下自己的官帽頭巾，不住叩頭，血流滿面，高宗大怒，武則天也從幄後大呼：何不擊捕此獠，喝令左右追打。無忌説：褚遂良受先帝顧命，不得加刑。
高宗及武則天免除了褚遂良的宰相官職，貶為潭州（今湖南長沙）都督。顯慶二年（657年），又貶桂州（今廣西桂林），接着再貶愛州（今越南國清化市）刺史。褚遂良含冤受曲，仍憂國憂民，依然上書朝廷，以明事理。658年，褚遂良憂忿而死，享年63歲。660年，許敬宗又向武則天進饞言，誣陷長孫無忌謀逆，是受褚遂良煽動。武則天下令免去褚遂良一切封爵，將其兩個兒子褚彥甫、褚彥沖流放愛州，追殺二子，又將所有家人遣送原籍河南陽翟。705年，武則天死，唐中宗李顯即位，給褚遂良平反昭雪，恢復官爵。790年前後，唐德宗李適追封褚遂良為太尉。830年前後，唐文宗李昂派人找到褚遂良的五世孫褚虔，下旨任為臨汝尉、安南觀察使，表彰褚遂良以及二男一孫的功績。868年，以太尉制改葬褚遂良於陽翟。褚遂良曾孫褚瓔（音球qiu），為監察御史，北伐突厥，升禮部員外郎。
從以上説來，褚姓從公元前褚師開始，經褚大、褚少孫等到東漢末年褚招，前後約計750年。再從褚招到褚謬，其間共計20世，約計720年，歷經東漢、三國、西東晉、宋、齊、樑、陳、北朝、隋、唐十數個朝代。我們的褚氏先賢不論或官或民、或富或貧，他們在那昏濁、動亂無常的封建社會裏，立志鐵石，苦讀經史，勤奮好學，詩書起家，敢為人先，審時度勢，有膽有識，精忠報國。有的清貧飄逸，有的勤苦奮起，有的居官效民，有的仗義疏財，有的忠烈不屈，有的富貴不淫，有的忠孝兩全，有的清廉自重，手中權霸王綱，身負託孤重任，為國為民效命，創立了千古業績，永着史冊。既使三位皇后，數十位公侯將相，也是苦中得來。正是由於他們自己的立志奮起，知難而進，勤學苦讀，奮鬥不息，才使得褚氏家族接履於雲霄之上，昌明隆盛之極。《南史》卷二十八評褚氏説：“論曰，褚氏自至江左人焉，不墜彥回，以此世資時，譽早集，及於逢迎興運，謗議沸騰，既以人望見推，亦以人望而責也。熘貞勁之性，炫廉勝之風，求及古人，亦何以加此？玠公平諒直，文武兼資，可謂世業無隕者矣。”
