元鼎三年（公元前114年），在位十三年的伊稚斜单于在忧愁与雄心反复交错中去世，其子乌维继位为单于。
这一年，武帝外出巡视郡县。其后南越与东越的局势日渐不稳，武帝腾出手来，着手解决南境，令卫尉路博德为伏波将军出桂阳郡，下湟水（今广东北部之洭水）；楼船将军杨仆出豫章郡，下浈水（今广东北部之滃江）；越人、归义侯严为戈船将军，出零陵郡，下离水（今广西境内之漓江和桂江）；越人甲为下濑将军，下苍梧郡。这四将的部众皆为江淮以南的罪人，总计十万，都被训练成了楼船之士。另外，越人、驰义侯遗率领巴蜀罪人和夜郎兵，下牂柯江（今广西西南部之北盘江）。汉军浩浩荡荡，杀奔两越，历经一番苦战，五支军队于番禺（今广东广州市）相会，终于平定了叛乱。
元鼎六年十月，武帝东行至左邑桐乡，正准备前往缑氏（今河南偃师县东南），突然，战报传来，言南越已平定。武帝大喜，就将左邑改为闻喜。后来，汉军又平定了西南夷。于是武帝将越地分置为南海、苍梧、郁林、合浦、交阯、九真、日南、珠崖、儋耳等九郡；将西南夷分置为武都、牂柯、越嶲、沈黎、文山等五郡。
南境安定后，北击匈奴之事又被提到了议事日程。于是武帝令故太仆公孙贺领一万五千骑出九原，命从骠侯赵破奴领一万余骑出令居，寻击匈奴。前者出塞二千余里，至浮苴井（在今杭爱山北）；后者出塞数千里，至匈河水（在今杭爱山南）。一路之上，两军都没有看到一个匈奴人，只得班师回朝。
元封元年（公元前110年），武帝巡边，亲至朔方，随行军马浩浩荡荡，密密麻麻，一眼望不到头，达十八万骑。武帝令汉兵演练军阵，但见军容齐整，甲光耀眼，威猛不凡，见者无不震撼。随行人员皆道汉军军威浩荡，进可攻，退可守，匈奴人若知道了，必畏服而降。武帝听了，仰天大笑，豪迈之态，溢于言表，转头问左右，谁敢出使匈奴。郭吉毛遂自荐，自告奋勇，言愿出使匈奴，说服单于来归。武帝赞许一番，令其即刻上路。
一路风餐露宿，翻山越岭，历数十日后，郭吉等人终于到了匈奴王庭。匈奴主客（官名，主管接待来客，犹汉之典客。）问其为何事而来。郭吉态度谦卑，尽说好话，末了，言自己的使命是不见单于不敢吐露真言。匈奴主客见他为人“谦和”，料想不会头脑发热，惹出什么幺蛾子来，便欣然应允，引他前去见乌维单于。单于摆开阵势，热情招待。
郭吉献上礼物，行礼毕后，便口若悬河，滔滔不绝，“南越王之事，想必单于已经听说了，如今他的头颅已悬挂在汉廷京师的北阙之上。倘若单于觉得匈奴能与汉廷一战，那么，请即刻引军击汉；汉天子正率领着威猛之士，于边境上苦苦等待呢。倘若单于不能前去，觉得匈奴势不如汉，那么，恳请单于立即面向南面，向汉称臣。如此则无须徒劳地远远逃亡，藏匿于漠北这个苦寒以及水草缺乏之地，以致无所作为了。”
乌维单于听完郭吉的话，勃然大怒，大叫道：“是谁允许这个二百五前来觐见的？”立即喝令斩了那个无辜的匈奴主客，其后又下令扣留郭吉，迁之于北海，不允许他再回去了。
乌维单于余怒未熄，本想挥军南下，但仔细想了一下，觉得不甚明智，因而不得不断了侵扰汉边的念头。然而，事情就这么算了么，自然是不行的，于是乌维单于一面休养士卒和马匹，令壮者勤练射猎之技，一面数次遣使赴汉，好辞甘言，说了不少，目的则只有一个，那就是和亲。
郭吉等人滞留不归，武帝自是疑惑，便派王乌等人去窥探匈奴的情况。匈奴的法律规定，汉使若不放弃旄节，并以墨黥面，就不能进入毡帐。王乌乃北地人，熟悉匈奴的习俗，就放弃旄节，用墨黥面，因而得以相对自由地出入毡帐。一来二去，王乌与乌维单于便混熟了。单于很喜欢他，但内心里并不信任他，为了让他能在武帝面前美言几句，就假装许诺说时机成熟的时候，将遣太子入质于汉，以求和亲。
不见兔子不撒鹰。匈奴太子未至长安，武帝自然不轻易允诺和亲，于是又派遣杨信等人出使匈奴，以打探情况。这一年乃元封三年（公元前108年），汉廷向东攻取了秽貉和朝鲜，设置了真番、临屯、乐浪、玄菟等四郡；在西边设置了酒泉郡，用以隔绝匈奴和羌人的通路；又向西沟通了月氏和大夏，建立了友好关系，为笼络乌孙，将江都王刘建的女儿刘细君封为公主，嫁给乌孙王为妻，一系列动作的目的都是为了分化匈奴与其西方援国之间的关系；又向北扩大田地，直至胘雷，以为边塞，匈奴始终不敢对此表示不满。这一年，翕侯赵信逝世。汉廷的官员认为单于失去了倚重，匈奴必势弱，可以趁机让他们臣服了。
