公元前121年，卫青、霍去病大败匈奴以后，匈奴好几年不敢来犯汉朝边关。他们虽然表面上说要跟汉朝和好，而实际上仍对中原心怀不轨。
匈奴的单于多次派使者来汉朝以示友好，可是汉朝的使者到匈奴去回访，有的却被扣留了。汉朝为了报复，也扣留了一些匈奴使者。
公元前100年，汉武帝想趁匈奴的新单于刚即位，出兵攻打匈奴，匈奴派了使者来求和，还答应把汉朝的使者都放回来。汉武帝就派中郎将苏武拿着旌节，带着副手张胜和随从常惠，出使匈奴。
苏武到了匈奴，送上礼物，送回被扣留的使者，打算等单于写了回信就回去，没想到就在这个时候却出了意外。
在苏武到匈奴之前，有一个生长在汉朝的匈奴人，叫卫律，在出使匈奴后投降了匈奴。单于特别器重他，封他为王。卫律有一个部下叫虞常，对卫律很不满意。他跟苏武的副手张胜原来是朋友，就暗地跟张胜商量，想杀了卫律，劫持单于的母亲，逃回中原去。
张胜赞成这个计划，并拿出钱财支持虞常。没想到虞常的计划不但没成功，反而被匈奴人逮住了。单于大怒，叫卫律审问虞常，查问出同谋。
苏武本来不知道这件事。张胜怕受到牵连，到了这时候才告诉苏武。
苏武说：“事情已经到了这个地步，一定会牵连到我。如果让匈奴审问以后再死，不是更给朝廷丢脸吗？”说罢，就拔出刀来要自杀。张胜和常惠眼疾手快，夺去他手里的刀，把他劝住了。
虞常受尽了种种刑罚，终于供出了张胜。单于听了卫律的报告后大怒，想杀死苏武，但是被大臣劝阻了。单于又叫卫律去逼迫苏武投降。
苏武一听卫律叫他投降，就说：“我是汉朝的使者，如果违背了使命，丧失了气节，茍且活下去还有什么脸见人！”又拔出刀来向脖子抹去。
卫律慌忙把他抱住，但是苏武已受了重伤，昏了过去。
卫律赶快叫人抢救，苏武才慢慢苏醒过来。
单于觉得苏武很有骨气，十分钦佩他。等苏武伤痊愈了，单于便劝苏武投降，为他效力。
单于派卫律审问虞常，让苏武在旁边听着。卫律当场杀了虞常，又举剑威胁张胜，张胜贪生怕死就投降了。
卫律对苏武说：“你的副手有罪，你也得连坐。”
苏武面不改色地说：“我既没有跟他同谋，又不是他的亲属，为什么要连坐？”
卫律又举起剑威胁苏武，苏武不动声色。卫律，只好把举起的剑放下来，劝苏武说：“我也是不得已才投降匈奴的，单于待我很好，封我为王，给我几万名的部下和满山的牛羊，享尽荣华富贵。先生如果能够投降匈奴，明天也会跟我一样，何必白白送掉性命呢？”
苏武怒气冲冲地站起来说：“卫律！你本是汉朝的臣下，却忘恩负义，背叛了朝廷，还有什么脸来和我说话？我绝不会投降，怎么逼我也没有用！”
卫律没有办法，只好向单于报告。单于见苏武这样有骨气，更坚定了劝降的决心。他把苏武关在地窖里，不给他吃的喝的，想用长期折磨的办法，逼苏武屈服。
这时候正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧一把雪止渴；饿了，就啃皮带、羊皮片充饥。
单于拿苏武没办法，只好送他到北海（今贝加尔湖）边去放羊，而且将他和随从常惠分开，禁止他们互通消息，还告诉苏武说：“等公羊生了小羊，就放你回汉朝。”公羊怎么会生小羊呢？毫无疑问，单于是要长期监禁他。
苏武来到北海，那里荒无人烟，只有那根代表朝廷的旌节是他唯一的陪伴。没有吃的，他就挖草根充饥。日子一长，旌节上的毛全脱落了，但苏武还是紧紧地攥着那根光秃秃的旌节不肯撒手。
汉武帝死后，汉昭帝即位。
匈奴又跟汉朝进行议和，汉昭帝派使者到匈奴去，要单于放回苏武。单于欺骗使者说苏武已死，使者信以为真，就没有再提。
后来，汉朝使者又一次到匈奴，苏武的随从常惠买通监视他的匈奴兵，私下和汉朝使者见面，将苏武在北海牧羊的详情告诉了使者，并教给使者对付单于的办法。使者见了单于，严厉责备道：“匈奴既然有心同汉朝和好，就不该欺骗汉朝。吾皇在御花园射下一只大雁，雁脚上系着一条绸子，上面明明写着苏武还活着，你怎么说他死了呢？”单于听了，大吃一惊。他以为是苏武的忠义感动了飞鸟，连大雁也替他送消息，便向使者道歉说：“苏武确实还活着，我把他放回去就是了。”
苏武出使时，才40岁，在匈奴受了19年的折磨，胡须、头发全白了。苏武回到长安的那天，长安的百姓都出来迎接他。看见白头发、白胡须的苏武手里拿着光秃秃的旌节，所有人都深受感动，称赞他是一个有气节的大丈夫。
