六月十七，李康一行人抵达了东都附近，但是由于东都周围贼兵遍布，使得李康也没带着人冲进去。
过了几日，李康得到消息，留守大兴城的刑部尚书卫玄带着四万兵马出了潼关，准备讨伐杨玄感，于是李康便掉头先去投到卫玄军中。
其后，李康在卫玄军中领了一个校尉。
卫玄到了华阴，派人挖掘杨素的坟墓，焚烧了杨素的骸骨，向士卒们表明自己必死的决心，然后卫玄率军击鼓进军，出崤谷、渑池，直奔东都城北。
杨玄感迎击卫文升，卫玄军队几次交战都未能获胜，率军且战且走，后在金谷驻扎军队。
同时，杨广已经得到消息，派遣虎贲郎将陈棱去黎阳进攻元务本，又派遣左翊卫大将军宇文述、右候卫将军屈突通乘驿站的传车发兵讨伐杨玄感。
东都内的兵少，只能防守，于是杨玄感便率军全力与卫玄交战。
卫玄用步兵骑兵二万，渡过鏶、涧水来挑战，玄感假装失败，卫玄命令军队追赶他，这时玄感的伏兵冲了出来，卫玄的前军全被消灭。
李康就在前军，此次也险些战死，幸好冲了出来，狼狈的逃了回去。
几天后，卫玄又与玄感交战，两军刚交战，杨玄感使了一招诡计，让人大呼道：“官军已经捉住了杨玄感了！”
听说杨玄感被抓住了，卫玄手下士兵们顿时稍稍松懈下来，阵列松散开，打的时候也没有那么勇猛了，杨玄感带着几千骑兵乘机进攻，卫玄的士兵大意之下如何能挡住，于是大败，只带了八千人逃走。
混在败军里面的李康，看着丢盔弃甲的军队，实在无奈极了，这卫玄怎么连战连败，也太倒霉了，这样下去的话别说建功立业，时候朝廷不责罚主将就算不错的了。
这次打败之后，卫玄的军队是无力再战。
杨玄感屡次击败卫玄，每次作战杨玄感都身先士卒，所向披靡，很振奋士气。
杨玄感部众愈来愈多，达十万人。
卫玄手下士卒损失太大，寡不敌众，部下死伤大半，军力将近耗竭，境况很危急，他率军进驻邙山的南面，与杨玄感决战。
一天之内双方交锋十余次，恰巧杨玄挺被流箭射死，杨玄感的军队才稍稍退却，李康连番大战，也中了两支箭簇，幸好有铠甲保护，只是受了些轻伤，他带来的亲信士卒，也是了四个人。
不过，这次之后，杨玄感已经没有精力在继续攻打卫玄部。
征讨高句丽的军队开始回师，同时，在东莱的来护儿也力排众议，发兵西进，攻打杨玄感。
杨玄感造反，出了朝廷有人支持他，民间也有人乘势起兵响应他。
杨玄感围困东都时，梁郡人韩相国举兵响应。杨玄感任命他为河南道元帅，一月之内韩相国就招集部众十余万人，他率兵攻掠郡县。
八月十一日，余杭人刘元进也起兵响应杨玄感。