再说董承自受密诏之后，日夜思量如何灭曹扶汉。恰此时曹操头风病发作，董承的盟友太医吉平，决定趁机下手。没想到家人将董承告发，密诏之情败露，吉平、董承等人被杀，汉献帝差点被废掉。曹操本就将刘备看作心腹大患，此时更有理由征讨刘备。于是发兵二十万，分五路杀向徐州。刘备势弱，向袁绍求援，袁绍借幼子生病，不肯发兵相救。玄德无奈，只好趁曹军初到之际劫寨，不料被曹操的伏兵大败，回不了徐州，只得单枪匹马去青州投奔袁绍。张飞也中计大败，逃退至芒砀山。曹操当晚夺取了小沛，随即合力攻打徐州，糜竺、简雍把守不住，只好弃城而逃。陈登将徐州献上。曹操大军进驻徐州城，安抚百姓后，又向下邳进军，下邳被团团围困，由于刘备的家眷都安置在下邳，关公拼死坚守。
这曹操一向喜欢招揽人才，有爱才惜才的美名。他知道关公勇猛非常，又十分忠义，很想将他拉拢过来，为自己效力。于是一面用计将关公诱出，不得靠近下邳，一边派张辽作说客前去劝降。
那关公被围困在土山，想冲去下邳又冲突不出。挨到天亮，整顿军马准备再下山冲突，却见一人跑马上山来，这人正是张辽。关公迎上去对张辽说：“文远是要来与我对敌吗？”张辽说：“不是，只是想起老朋友过去的情谊，现在特来相见。”于是将刀丢在地上，跳下马来与关公施礼，二人同坐于山顶。关公说：“文远你是来劝我投降的么？”张辽说：“不是。当初蒙兄长你救了我，我今天怎能不救兄长呢？”关公又说：“那么你是来帮助我的？”张辽说：“也不是。”关公不解：“既然不是来帮助我，来这里为何？”张辽说：“玄德不知是生是死，翼德也不知是死是活，昨天曹公已攻破下邳，丝毫没有伤害军兵，还派了人保护玄德的家眷，不许人惊扰。曹公能够这样体恤，弟弟我特地来报告给兄长。”关公发怒道：“你说这些不就是在劝我投降吗？我现在虽然身陷绝地，但视死如归。你赶快离开，我马上要下山迎战。”张辽笑着说：“兄长这样说，岂不被天下人耻笑？”关公说：“我为忠义而战死，怎么会被人耻笑？”张辽说：“兄长今日便死，其罪有三。”关公道：“你说说看，我有哪三条罪过？”张辽说：“当日刘使君与你结义之时，发誓同生共死，现在刘使君才刚刚失败，你就战死，倘若使君东山再起，需要你的帮助，却再也得不着了，这难道不是有负当年的盟誓？这是第一罪；刘使君将家眷交托给你，你今日战死，两夫人无所依托，辜负了使君的重托，这是第二罪；兄长你武艺超群，经史皆通，不考虑帮助使君匡扶汉室，只想着赴汤蹈火，表现出匹夫之勇，哪里称得上是忠义？这是第三罪。兄长有这三条罪，弟弟我不得不为你指出。”
关公沉吟了片刻，说道：“你既然指出了我的三条罪，那现在要我怎么做？”张辽说：“现在四面都是曹公的军兵，兄长如果不投降，只有死路一条；徒劳死去并无益处，不如暂且向曹公投降，再四处打听刘使君的音信，一旦知道他的去处，便立即去投奔他。这样一来，既可以保护二位夫人，又不违背桃园结义之盟约，还可以保全自身性命，以后为国家效力，这三点好处，兄长应该仔细考虑考虑啊。”关公说：“你说了三点好处，我也有三条约定，如果丞相能够应允，我马上卸下盔甲投降，如果不应允，我宁愿背负‘三罪’而死。”张辽说：“丞相为人宽宏大量，有什么事接纳不了？愿听听你所说的三件事。”关公说：“第一，我与刘皇叔发过誓，要共同匡扶汉室，如今我只投降于汉帝，不是投降于曹操；第二，两位夫人要按刘皇叔的俸禄供养，上下人等，都不能入内；第三，我一旦打听到刘皇叔的去向，不论千里万里，都会前去投奔。这三件事有一件不允，我都决不投降。希望文远赶快回来给我答复。”张辽答应下来，快马回奔见曹操。先说了降汉不降曹的第一事。曹操笑着说：“我本是汉丞相，汉即是我。这一点可以应允他。”张辽又说了第二事，曹操说：“我可以在刘皇叔的俸禄之上再加一倍拨给两位夫人。至于严禁内外嘛，这本是家法，更应如此。”张辽于是又说了关公所提的第三件事。曹操听闻，摇着头说：“他云长一旦打听到刘备的消息就前去投奔，那我养着他有什么用？这件事难以应允他。”张辽劝说道：“云长这样做，也不过是因为刘玄德待他恩情厚重罢了，丞相如果待他比刘玄德更深厚，还怕他不死心塌地地跟从吗？”曹操转念一想，觉得此话不假，便说：“文远说得是对的，我愿意依从他这三件事。”
张辽再去山上，将事回报关公。关公说：“虽然如此，请丞相暂且退军，容我进城去看过二位嫂嫂，告诉她们这件事，然后再投降。”张辽又回去告知曹操，曹操相信云长乃忠义之士，于是传令退军三十里。关公进入下邳城，见城中百姓都安好，心中放心不少。又来到府中见二位嫂嫂，将前事一一禀告。甘、糜两位夫人让关公自己做主，只是怕以后曹操不让他去寻皇叔。关公说：“嫂嫂放心，关某自有主张。”随即辞别二位，带了几十个军兵来见曹操。曹操亲自出辕门迎接。关公下马便叩拜曹操，曹操慌忙扶起他，说：“我一向仰慕云长是忠义之人，现在得你到我门下，我平生的愿望都得到满足了。”关羽又重申了投降之前的三件事，曹操当面一一答应。在谈到第三件事时，关公强调说：“关某如果得知皇叔的下落，一定会赴汤蹈火，前去跟从。到时恐怕来不及与丞相拜别，希望丞相能够见谅。”曹操感叹说：“玄德如果还在，一定让你离开；只怕他已经死在乱军之中。你暂且放心，容我去打听消息。”
第二天，曹操班师回许昌，关公收拾车马，请二位嫂嫂上车，亲自在一旁护送。半路在驿馆歇息时，曹操安排关公与二位夫人共处一室，想让关公违乱君臣之礼。但关公只是点了蜡烛，站立在门外直到天亮，毫无疲倦之色。曹操见关公如此守礼，心中愈加敬服。到了许昌之后，曹操拨出一府给关公居住。关公将府第分为前后两院，后院拨军兵十人把守，自己住在前院。曹操引荐关公朝见汉献帝，献帝命他为偏将军。关公谢恩归宅。
第二日，曹操大摆宴席，请众谋臣武士入座，以贵宾之礼对待关公，请他坐在上座；又备好绫锦、金银器皿送给他。关公将这些东西送给二位嫂嫂收藏。自从关公到了许昌，曹操三日一小宴，五日一大宴请他吃喝，又送上十个美女，令其服侍关公。关公将她们送进后院，让她们去服侍二嫂，自己也三天一次，在后院的门外躬身施礼问安，二位夫人则打听皇叔的下落。谈话结束，二夫人说一声：“叔叔自便。”关公这才敢退下返回。曹操听说了这些事后，又是叹服不已。
一天，曹操看见关公身上的绿锦战袍已经破旧，命人估量了他的身段，取上好的锦缎做了一件战袍送给他，关公收下战袍，却只将它们穿在里面，外面仍旧穿上旧袍。曹操看了，笑着说：“云长为何如此节俭？”关公说：“并非因为节俭。旧袍是刘皇叔赐给我的，我穿着它就好像看见兄长一般，不能因为有了丞相所赐的新袍，就忘了兄长所赐的旧袍，所以仍然穿它在身上。”曹操感叹：“云长真是义士啊！”然而口中虽然称赞，心里实则不舒服。
又一天，关公正在府中，忽然侍从前来报告：“后院两位夫人哭倒在地上，不知为了什么事，请将军快快赶去。”关公整理好衣服奔去后院，站在门外，问二嫂为何哭得那样悲伤。甘夫人说：“我夜间梦见皇叔身体陷进了土坑之中，醒来与糜夫人说起，想必皇叔已经在九泉之下了！这才一起痛哭。”关公安慰道：“梦中的事情怎能当真呢？这只是嫂嫂们太思念兄长的缘故。请二位不要忧愁。”
正在说话间，曹操命人来请关公赴宴。关公拜别二嫂去见曹操。曹操看见关公面有泪容，便问他缘由。关公回答说：“二位嫂嫂因思念皇叔痛哭，我也不禁心中悲伤。”曹操笑着安慰他，频频劝他喝酒。关公喝醉，手捋着长髯说：“生不能为国家效力，还背离自己的兄长，我枉自为人啊。”曹操听见，故意岔开话题，问：“云长对自己的长髯有数吗？”关公回答：“大约几百根。每年秋天会掉四五根，所以冬天常用皂纱囊将它们包裹，以免断掉。”于是，曹操用纱锦做成囊，送与关公护髯。第二天早晨上朝之时，献帝看见关公胸前垂着一个纱锦囊，好奇地问他。关公说：“臣的胡子太长了，丞相赐我锦囊裹好它们。”献帝叫关羽在大殿上解下锦囊，披拂长髯。长髯超过肚腹。献帝称赞说：“真是一美髯公啊！”自此，人们都叫云长为“美髯公”。
又一日，曹操宴请关公。酒宴结束，曹操送关公出府之时，看见关公的马瘦弱，问道：“你的马为何如此瘦弱？”关公回答说：“我身体太重，马承载费力，因此常常很瘦弱。”曹操随即命令左右：“备一匹马来。”过了一会儿，一匹马牵到。那马身如火炭，状貌相当雄伟。曹操指着马说：“云长认得这匹马吗？”关公吃惊地说：“这难道就是吕布的那匹赤兔马？”曹操说：“正是。”于是将鞍辔交到关公手中。关公再三地拜谢。曹操有些不高兴地说：“我几次送你美女、金帛，你从没有下拜过，如今我送你一匹马，你高兴得多次下拜：为什么看轻人而重畜牲呢？”关公回答道：“我知道这匹马日行千里，现在有幸得到它，如果知道了我兄长的下落，我只要一天就可以奔去见他了。”曹操一听愣住了，心中十分后悔。关公辞去后，曹操问张辽说：“我待云长这么好，他却常怀离我而去之心，这是为什么？”张辽说：“让我去问问他。”第二天，张辽去见关公，对关公说：“我推荐你在丞相门下，不比在刘皇叔那里差吧？”关公说：“我深感丞相的厚意。只是我虽然身在此处，心里却念着皇叔，不曾忘记。”张辽说：“兄长说这些可就不对了。玄德对兄长未必比得上曹丞相，为什么总想着离去呢？处世不分轻重，可不是大丈夫所为啊。”关公说：“我虽然知道曹公对我十分厚重，只是我受刘皇叔大恩，发过誓要同生共死，不能违背。我一定不会在这里久留。不过，我必会先报效了曹公，然后离开。”张辽问：“倘若玄德已经不在人世，你跟从谁呢？”关公坚定地说：“我愿跟随皇叔于地下。”张辽听了这番话，知道关公终究不会留下，也不多劝，告辞回去见曹操，将关公的话具实告知。曹操叹息着说：“为主公效力不忘根本，云长真正是天下义士。”一旁的荀彧说：“关公说立了功才离开，如果不让他立功，他自然不能离去。”曹操认为说得对。