卫玄，字文升，河南洛阳人，鲜卑族，北周至隋朝时期大臣，侍中卫标的儿子。少有气度，见识过人，北周时期，凭借门荫入仕，起家同州宇文邕记室，历任给事上士、宣纳下大夫。北周武帝即位，历任益州长史、太府卿、京兆尹，袭封兴势县公。得罪北周宣帝，坐罪免职，投靠大丞相杨坚，担任熊州刺史。隋朝建立后，历任淮州总管、卫尉少卿、资州刺史、刑部尚书、右候卫大将军等，进封同轨郡公，劝慰叛乱的獠人归顺隋朝。参与攻打高句丽，保全所有兵马，辅佐代王杨侑留守长安，击败杨玄感叛乱。唐国公李渊执掌政权后，卫玄辞职，病逝于家中，时年七十七岁。
卫玄，出身于官宦世家，少时有器量见识，北周武帝宇文邕做藩王时，引荐卫玄担任记室，卫玄后来升任给事上士，继承兴势公的爵位，食邑四千户，后改任宣纳下大夫。北周武帝继位后，任命卫玄为益州总管长史，赐给万钉宝带，不久，升任开府仪同三司、太府中大夫，代理内史事，兼任京兆尹，时人称其强力贯通天下。北周宣帝宇文赟在位时，卫玄由于忤逆圣旨而遭罢免官职。
隋文帝杨坚担任北周丞相时，卫玄担任代理熊州刺史，当时和州的蛮人反叛作乱，卫玄以行军总管的身份平定叛乱。
隋文帝受禅登基，建立隋朝，隋文帝任命卫玄为淮州总管，进封同轨郡公，后因受牵连免官，不久担任岚州刺史。适逢朝廷大起修筑长城的劳役，诏令卫玄监督修筑长城，不久代理朔州总管，后改任卫尉少卿。
山獠叛乱，隋文帝任命卫玄为资州刺史，前往镇压安抚，卫玄到任之后，山獠正围攻大牢镇，卫玄单人独骑到山獠的营地，对獠人说：“我是资州刺史，奉天子诏令安抚养育你们，你们不要惊怕。”众獠人没有人敢动。于是，卫玄向他们陈述利害，獠人主帅受到感动，解围而去，前后归顺的獠人有十多万人，隋文帝非常高兴，赐给卫玄细绢二千匹，升任遂州总管，仍命其安抚剑南。杨广继位，征召卫玄入朝担任卫尉卿。夷人、獠人怀恋卫玄，相送之人几百里内不断，卫玄晓谕他们说：“天子下诏调我回京，我不能久留。”于是与他们告别，夷人、獠人都挥泪而去。
卫玄担任工部尚书，后来改任魏郡太守，仍兼任工部尚书，隋炀帝对卫玄说：“魏郡是有名的都市，是要冲之地。那里的百姓很奸刁，所以麻烦你去治理。这个郡离首都并不太远，你应该常回京师，参谋朝政。”赐给他布帛五百段，让他前往赴任，任命卫玄为右侯卫大将军，代理左侯卫大将军之事。
隋炀帝发兵东征高句丽，卫玄担任代理右御卫大将军，率军由增地道出发，与众将在鸭绿江西面会合。当时各路兵马大多出师不利，有所伤亡，唯独卫玄一军的兵众全部返回，授任金紫光禄大夫。隋炀帝驾幸辽东，命卫玄等人辅佐代王杨侑留守东都洛阳，并任命卫玄担任京兆内史，仍兼任刑部尚书，允许他遇事不便上奏，可自行裁处决断，敕令杨侑以对待老师的礼节对待卫玄。
杨玄感起兵造反，围困东都洛阳，杨侑派卫玄率领步兵、骑兵七万人援救洛阳。卫玄军到华阴后，挖掘杨玄感之父杨素的坟墓，焚烧其尸骸遗骨，将其祖茔铲平，向士卒们表明必死的决心。兵出潼关之后，有人担心崤山和函谷关之处有伏兵，请求从陕县沿黄河顺流东下，直奔河阳，攻击杨玄感的后方，卫玄说：“依我看来，这种计谋不是杨玄感那小子所能想到的。”于是就击鼓前进，出崤山、渑池，过函谷关后，正如他所猜测的那样，果真没有伏兵。卫玄派武贲郎将张峻从南路进发作为疑兵，自己则亲率大军直奔洛阳城北，杨玄感率军迎击卫玄，卫玄率军且战且走，在金谷驻扎军队。
卫玄在军中清扫一片场地，祭祀隋文帝说：“刑部尚书、京兆内史臣卫文升，冒昧地昭告于高祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。杨玄感辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。如果社稷长久，应该让杨玄感这些丑类像冰块一样破碎；如果隋朝大势已去，就请让老臣先死吧！”卫玄词气激昂，三军将士莫不流涕呜咽。
卫玄率领步兵、骑兵两万人渡过瀍水，与杨玄感军交战，杨玄感屡次击败卫玄。当时，杨玄感拥有近十万兵众，卫玄由于寡不敌众，部下死伤大半，军力将近耗竭，于是他率军进驻邙山的南面。杨玄感率领全部精兵前来进攻，卫玄率军与杨玄感决战。一天之内双方交锋十余次，恰巧杨玄感之弟杨玄挺身中流矢而死，杨玄感的军队才稍稍退却，卫玄进而驻军邙山的北面。恰逢宇文述、来护儿等援兵赶到，杨玄感惧怕，因而向西逃走。卫玄派遣通议大夫斛斯万善、监门直阁庞玉为先锋追击，赶到阌乡，与宇文述等合兵击败叛军。
隋炀帝驾幸高阳，征召卫玄到其所在的地方，隋炀帝慰劳卫玄说：“卿真是社稷之臣啊！使朕得以没有西顾之忧。”于是下诏说：“近来妖雾充斥，搅动关、河一带。文升率领义师，应机赴敌，在华山黄河一带，奋勇杀敌，打败凶丑。应该下令奖赏，升任他为右光禄大夫。”并赐给卫玄良田、宅第，财物数万，让卫玄返回长安镇守，临行前隋炀帝对卫玄说：“函谷关以西全部委托给你。你安然无恙，国家就安然无恙；你有危险，国家也就危险。你出入必须有兵士护卫，坐卧应该加强防备。如今特意给你一千名士兵，充当侍卫随从。”卫玄和樊子盖一起受赐玉麒麟符节，用以代替铜兽符节。
隋炀帝诏令卫玄安抚关中，关中盗贼蜂起，百姓饥饿至死，卫玄竟然不能赈济抚恤，而官方败坏纷乱，贿赂公行。卫玄认为自己年纪已高，上表乞求告老还乡，隋炀帝派遣内史舍人封德彝驰往京师，告诉卫玄说：“京师是国家的根本，是王业的根基，是宗庙园陵的所在地，借助你这位老帅，卧居在那里镇守。我为国家考虑，不能同意你退休，所以派封德彝前来，口述我的旨意。”卫玄这才作罢。
隋朝末年，隋炀帝统治残暴，民不聊生，爆发大规模农民起义，太原留守李渊起兵反隋。李渊率领义军进入关中，当时卫玄已年老，闻知李渊率军向长安进发，自知不能守御，忧愁恐惧，自称有病，不再参预政事。李渊屡次派使者到长安城下，对卫玄等人宣称自己是尊奉隋朝皇室，并无反叛之意，卫玄等人不作答复，李渊军队攻陷长安，卫玄归居家中，去世时年七十七岁。