元帝初即位
元帝初即位，呼韓邪單于復上書，言民眾困乏。漢詔雲中、五原郡轉穀二萬斛以給焉。邪支單于自以道遠，又怨漢擁護呼韓邪，遣使上書求侍子。漢遣谷吉送之，郅支殺吉。漢不知吉音問，而匈奴降者言聞甌脫皆殺之。呼韓邪單于使來，漢輒簿責之甚急。明年，漢遣車騎都尉韓昌、光祿大夫張猛送呼韓邪單于侍子，求問吉等，因赦其罪，勿令自疑。昌、猛見單于民眾益盛，塞下禽獸盡，單于足以自衛，不畏郅支。聞其大臣多勸單于北歸者，恐北去後難約束，昌、猛即與為盟約曰：「自今以來，漢與匈奴合為一家，世世毋得相詐相攻。有竊盜者，相報，行其誅，償其物；有寇，發兵相助。漢與匈奴敢先背約者，受天不祥。令其世世子孫盡如盟。」昌、猛與單于及大臣俱登匈奴諾水東山，刑白馬，單于以徑路刀金留犁撓酒，以老上單于所破月氏王頭為飲器者共飲血盟。昌、猛還奏事，公卿議者以為「單于保塞為藩，雖欲北去，猶不能為危害。昌、猛擅以漢國世世子孫與夷狄詛盟，令單于得以惡言上告于天，羞國家，傷威重，不可得行。宜遣使往告祠天，與解盟。昌、猛奉使無狀，罪至不道。」上薄其過，有詔昌、猛以贖論，勿解盟。其後呼韓邪竟北歸庭，人眾稍稍歸之，國中遂定。
郅支既殺使者，自知負漢，又聞呼韓邪益彊，恐見襲擊，欲遠去。會康居王數為烏孫所困，與諸翕侯計，以為匈奴大國，烏孫素服屬之，今郅支單于困阨在外，可迎置東邊，使合兵取烏孫以立之，長無匈奴憂矣。即使使至堅昆通語郅支。郅支素恐，又怨烏孫，聞康居計，大說，遂與相結，引兵而西。康居亦遣貴人，橐它驢馬數千匹，迎郅支。郅支人眾中寒道死，餘財三千人到康居。其後，都護甘延壽與副陳湯發兵即康居誅斬郅支，語在延壽、湯傳。
郅支既誅，呼韓邪單于且喜且懼，上書言曰：「常願謁見天子，誠以郅支在西方，恐其與烏孫俱來擊臣，以故未得至漢。今郅支已伏誅，願入朝見。」竟寧元年，單于復入朝，禮賜如初，加衣服錦帛絮，皆倍於黃龍時。單于自言願婿漢氏以自親。元帝以後宮良家子王牆字昭君賜單于。單于驩喜，上書願保塞上谷以西至敦煌，傳之無窮，請罷邊備塞吏卒，以休天子人民。天子令下有司議，議者皆以為便。郎中侯應習邊事，以為不可許。上問狀，應曰：「周秦以來，匈奴暴桀，寇侵邊境，漢興，尤被其害。臣聞北邊塞至遼東，外有陰山，東西千餘里，草木茂盛，多禽獸，本冒頓單于依阻其中，治作弓矢，來出為寇，是其苑囿也。至孝武世，出師征伐，斥奪此地，攘之於幕北。建塞徼，起亭隧，築外城，設屯戍，以守之，然後邊境得用少安。幕北地平，少草木，多大沙，匈奴來寇，少所蔽隱，從塞以南，徑深山谷，往來差難。邊長老言匈奴失陰山之後，過之未嘗不哭也。如罷備塞戍卒，示夷狄之大利，不可一也。今聖德廣被，天覆匈奴，匈奴得蒙全活之恩，稽首來臣。夫夷狄之情，困則卑順，彊則驕逆，天性然也。前以罷外城，省亭隧，今裁足以候望通烽火而已。古者安不忘危，不可復罷，二也。中國有禮義之教，刑罰之誅，愚民猶尚犯禁，又況單于，能必其眾不犯約哉！三也。自中國尚建關梁以制諸侯，所以絕臣下之覬欲也。設塞徼，置屯戍，非獨為匈奴而已，亦為諸屬國降民，本故匈奴之人，恐其思舊逃亡，四也。近西羌保塞，與漢人交通，吏民貪利，侵盜其畜產妻子，以此怨恨，起而背畔，世世不絕。今罷乘塞，則生嫚易分爭之漸，五也。往者從軍多沒不還者，子孫貧困，一旦亡出，從其親戚，六也。又邊人奴婢愁苦，欲亡者多，曰『聞匈奴中樂，無奈候望急何！』然時有七出塞者，七也。盜賊桀黠，群輩犯法，如其窘急，亡走北出，則不可制，八也。起塞以來百有餘年，非皆以土垣也，或因山巖石，木柴僵落，谿谷水門，稍稍平之，卒徒築治，功費久遠，不可勝計。臣恐議者不深慮其終始，欲以壹切省繇戍，十年之外，百歲之內，卒有它變，障塞破壞，亭隧滅絕，當更發屯繕治，累世之功不可卒復，九也。如罷戍卒，省候望，單于自以保塞守御，必深德漢，請求無已。小失其意，則不可測。開夷狄之隙，虧中國之固，十也。非所以永持至安，威制百蠻之長策也。」
對奏，天子有詔：「勿議罷邊塞事。」使車騎將軍口諭單于曰：「單于上書願罷北邊吏士屯戍，子孫世世保塞。單于鄉慕禮義，所以為民計者甚厚，此長久之策也，朕甚嘉之。中國四方皆有關梁障塞，非獨以備塞外也，亦以防中國姦邪放縱，出為寇害，故明法度以專眾心也。敬諭單于之意，朕無疑焉。為單于怪其不罷，故使大司馬車騎將軍嘉曉單于。」單于謝曰：「愚不知大計，天子幸使大臣告語，甚厚！」
初，左伊秩訾為呼韓邪畫計歸漢，竟以安定。其後或讒伊秩訾自伐其功，常鞅鞅，呼韓邪疑之。左伊秩訾懼誅，將其眾千餘人降漢，漢以為關內侯，食邑三百戶，令佩其王印綬。及竟寧中，呼韓邪來朝，與伊秩訾相見，謝曰：「王為我計甚厚，令匈奴至今安寧，王之力也，德豈可忘！我失王意，使王去不復顧留，皆我過也。今欲白天子，請王歸庭。」伊秩訾曰：「單于賴天命，自歸於漢，得以安寧，單于神靈，天子之祐也，我安得力！既已降漢，又復歸匈奴，是兩心也。願為單于侍史於漢，不敢聽命。」四單于固請不能得而歸。
王昭君號寧胡閼氏，生一男伊屠智牙師，為右日逐王。呼韓邪立二十八年，建始二年死。始呼韓邪嬖左伊秩訾兄呼衍王女二人。長女顓渠閼氏，生二子，長曰且莫車，次曰囊知牙斯。少女為大閼氏，生四子，長曰雕陶莫皋，次曰且麋胥，皆長於且莫車，少子咸、樂二人，皆小於囊知牙斯。又它閼氏子十餘人。顓渠閼氏貴，且莫車愛。呼韓邪病且死，欲立且莫車，其母顓渠閼氏曰：「匈奴亂十餘年，不絕如髮，賴蒙漢力，故得復安。今平定未久，人民創艾戰鬥，且莫車年少，百姓未附，恐復危國。我與大閼氏一家共子，不如立雕陶莫皋。」大閼氏曰：「且莫車雖少，大臣共持國事，今舍貴立賤，後世必亂。」單于卒從顓渠閼氏計，立雕陶莫皋，約令傳國與弟。呼韓邪死，雕陶莫皋立，為復株絫若鞮單于。