他常对家中子弟说:禄岂须多,他性格沉稳、谦恕,防满则退;年不待暮,有疾便辞。他曾一再要求退休,隋文帝只是不许,韦世康是隋文帝朝中的一名大臣,反而一再提拔,最后官至荆州总管这样的要职。
当时天下共有四个总管,那三个总管都是由隋文帝的三个儿子担任,在吏部任职十余年,只有他一个外姓旁人,可见隋文帝对他宠幸之深。
在权力场上,有多少人为了加官晋爵而绞尽脑汁、机关算尽,要问他为官的诀窍,却是郁郁不得志。便是知足,没野心。像韦世康这样,越是谦恭,越是不过分计较,隋朝险恶的政坛风波并没有波及他,却升得越快越高,让人不得不感叹仕途的变幻莫测