衛(wèi)玄字文升，河南洛陽(yáng)人。祖父衛(wèi)悅，魏時(shí)任司農(nóng)卿。父衛(wèi)..，官侍中，左武衛(wèi)大將軍。

　　衛(wèi)玄幼時(shí)有器量見(jiàn)識(shí)，周武帝為藩王時(shí)，引薦衛(wèi)玄為記室。升任給事上士，襲爵為興勢(shì)公。周武帝即位，任命衛(wèi)玄為益州總管長(zhǎng)史，賜給他萬(wàn)釘寶帶。不久，升任開(kāi)府儀同三司、太府中大夫，攝領(lǐng)內(nèi)史事，兼任京兆尹，時(shí)人稱其強(qiáng)力貫通天下。

　　隋文帝作丞相，衛(wèi)玄任檢校熊州事。隋文帝受禪繼位，衛(wèi)玄升任淮州總管，晉封同軌郡公，因受牽連免官。不久，任嵐州刺史。適逢又起修筑長(zhǎng)城之役，詔令衛(wèi)玄監(jiān)督修筑長(zhǎng)城。后來(lái)改任衛(wèi)尉少卿。仁壽初年，山獠叛亂，任命衛(wèi)玄為資州刺史前往鎮(zhèn)壓安撫。衛(wèi)玄到任之后，山獠正圍攻大牢鎮(zhèn)，衛(wèi)玄單人獨(dú)騎到山獠營(yíng)地，對(duì)眾獠人說(shuō)：“我是資州刺史，奉天子詔令安撫養(yǎng)育你們，你們不要驚怕?！北娾踩藳](méi)有人敢動(dòng)。于是，衛(wèi)玄向他們陳述利害，獠人主帥受到感動(dòng)，十多萬(wàn)人繳械投降。文帝非常高興，賜給衛(wèi)玄細(xì)絹二千匹，升任遂州總管，仍令為劍南安撫使。

　　隋煬帝即位，又征召入京為衛(wèi)尉卿。夷獠之人懷戀衛(wèi)玄，相送之人幾百里內(nèi)不斷。分別的時(shí)候，都是揮淚而去。升任工部尚書(shū)。后來(lái)任魏郡太守，仍兼任工部尚書(shū)。不久，任右侯衛(wèi)大將軍，檢校左侯衛(wèi)事。改任刑部尚書(shū)。遼東之戰(zhàn)時(shí)，衛(wèi)玄任檢校右御衛(wèi)大將軍，率兵由增地道而出。當(dāng)時(shí)各路兵馬多有不利，只有衛(wèi)玄全師而還。授任金紫光祿大夫。

　　大業(yè)九年(613)，煬帝駕幸遼東，令衛(wèi)玄和代王楊侑留守京師，任命衛(wèi)玄為京兆內(nèi)史，仍兼任刑部尚書(shū)，允許他遇事不便上奏，自行裁處決斷，敕令代王以對(duì)待師傅的禮節(jié)對(duì)待衛(wèi)玄。適逢楊玄感圍困東都洛陽(yáng)，衛(wèi)玄率領(lǐng)步兵騎兵七萬(wàn)人增援。到了華陰，發(fā)掘楊素墓冢，焚燒其尸骸遺骨，將其祖塋鏟平，向士卒顯示必死的決心。兵出潼關(guān)之后，有人擔(dān)心崤山和函谷關(guān)之處有伏兵，請(qǐng)求從陜縣順流而下，直奔河陽(yáng)，攻擊楊玄感的后方。衛(wèi)玄說(shuō)：“這種計(jì)謀不是小子所能想到的?！庇谑蔷蛽艄那斑M(jìn)。過(guò)了函谷關(guān)之后，終于像他猜測(cè)的那樣。衛(wèi)玄就派遣武賁郎將張峻從南路進(jìn)發(fā)作為疑兵，自己則親率大軍直奔城北。楊玄感率兵迎戰(zhàn)。衛(wèi)玄一邊戰(zhàn)一邊行，大軍在金谷駐扎下來(lái)。衛(wèi)玄在軍中清掃一片場(chǎng)地，祭祀文帝說(shuō)：“如果社稷長(zhǎng)久，應(yīng)該讓楊玄感這些丑類(lèi)像冰塊一樣破碎；如果隋朝大勢(shì)已去，就請(qǐng)讓老臣先死吧！”詞氣激昂，三軍將士莫不流涕嗚咽。當(dāng)時(shí)，衛(wèi)玄寡不敵眾，與賊兵頻頻作戰(zhàn)都不利，士卒死傷大半。衛(wèi)玄率兵苦戰(zhàn)，賊兵才稍稍退卻，大軍進(jìn)屯于北芒。適逢宇文述、來(lái)護(hù)兒等援兵趕到，楊玄感向西逃遁。衛(wèi)玄派遣通議大夫斛斯萬(wàn)善、監(jiān)門(mén)直閣龐玉為先鋒追擊，趕到閿鄉(xiāng)，與宇文述等合兵擊敗叛軍。煬帝車(chē)駕到高陽(yáng)，征召衛(wèi)玄到其所在的地方。煬帝慰勞衛(wèi)玄說(shuō)：“公真是社稷之臣?。∈闺薜靡詻](méi)有西顧之憂。”晉升衛(wèi)玄為右光祿大夫，賜給他良田、宅第，財(cái)物數(shù)萬(wàn)。衛(wèi)玄回去鎮(zhèn)守京師，煬帝對(duì)他說(shuō)：“函谷關(guān)以西全部委托給公了。公安然無(wú)恙，國(guó)家就安然無(wú)恙；公有危險(xiǎn)，國(guó)家也就危險(xiǎn)了。公出入必須有兵士保衛(wèi)，坐臥應(yīng)該經(jīng)常自我安穩(wěn)。如今特意給公一千名士兵，充當(dāng)侍衛(wèi)隨從。”和樊子蓋一起，都賜給玉麒麟符節(jié)，因用以代替銅獸符節(jié)。

　　大業(yè)十一年，詔令衛(wèi)玄安撫關(guān)中。當(dāng)時(shí)，關(guān)中盜賊蜂起，百姓饑餓至死，衛(wèi)玄竟然不能賑濟(jì)撫恤。而官方敗壞紛亂，賄賂公行。衛(wèi)玄認(rèn)為自己年紀(jì)已高，上表乞求告老還鄉(xiāng)。煬帝派遣內(nèi)史舍人封德彝馳往京師，告訴他說(shuō)：“京師是國(guó)家的根本，是宗廟園陵的所在地，借助公臥居以鎮(zhèn)守之。”衛(wèi)玄才作罷。義師進(jìn)入關(guān)中，衛(wèi)玄自知不能守御，憂愁恐懼，自稱有病，不理政事。京城陷落，衛(wèi)玄歸居家中，隋恭帝義寧中卒。