苏武年轻时凭着父亲的职位，兄弟三人都做了皇帝的侍从，并逐渐被提升为掌管皇帝鞍马、鹰犬、射猎等工具的宫廷官吏。当时汉朝不断讨伐匈奴，多次互派使节彼此暗中侦察。匈奴扣留了前后十余批汉朝使节。匈奴使节前来，汉朝廷也扣留他们予以报复。
公元前100年，匈奴单于且鞮侯，刚刚即位，担心遭遇汉的袭击，公开表示汉皇帝是他的长辈，并全部送还了汉廷使节。汉武帝赞许他这种通晓情理的做法，作为礼尚往来，派遣苏武以中郎将的身份出使，持旄节护送扣留在汉的匈奴使者回国，顺便送给单于很丰厚的礼物，以答谢他的好意。副中郎将张胜，还有常惠，陪同苏武一起前往，共带领随从一百多人。
单于正要派使者护送苏武等人归汉的时候出现了变故。这要从已经投降匈奴的卫律说起。卫律的父亲原本是长水的胡人，与擅长音律的美男子李延年关系友善，卫律自小生长在汉朝。李延年一日为汉武帝献歌推荐他的妹妹：“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得。”李延年的妹妹由此入宫做了汉武帝的宠妾，称作李夫人（跟汉武帝生了个儿子叫刘髆，刘髆生了个儿子叫刘贺，第34篇叙述他当了二十七天的皇帝就被霍光废除）。卫律受到李延年的举荐出使过匈奴。公元前92年，李夫人的长兄李广利连同李广的孙子李陵投降匈奴后，李家被族诛。卫律害怕受到牵连便逃出汉朝投降了匈奴，被封为丁灵王，受到且鞮侯单于的宠幸。
卫律有一个部下叫做虞常，对卫律很不满意，私下拜访张胜，说：“听说汉天子很怨恨卫律，我虞常能为汉朝廷埋伏弩弓将他射死。我的母亲与弟弟都在汉，希望受到汉廷的照顾。”虞常想杀了卫律，劫持单于的母亲，逃回中原去。张胜表示同情。
一个多月后，单于外出打猎，只有阏氏和单于的子弟在家。虞常等七十余人将要准备动手，其中一人夜晚逃走，把他们的计划报告了阏氏及其子弟。单于子弟发兵与他们交战，虞常被活捉。单于派卫律审处这一案件。张胜听到这个消息，担心他和虞常私下所说的那些话被揭发，于是便把事情经过告诉了苏武。苏武说：“事情到了如此地步，一定会牵连到我们。受到侮辱才被处死，更加对不起国家！”因此想自杀。张胜、常惠一起制止了他。虞常果然供出了张胜。单于大怒，召集许多贵族前来商议，想杀掉汉使者。单于派卫律召唤苏武来受审讯。苏武对常惠说：“丧失气节、玷辱使命，即使活着，还有什么脸面回到汉廷去呢！”说着拔出佩刀刺向胸腹。卫律大吃一惊，亲自抱住苏武，派人骑快马去找医生。医生在地上挖一个坑，在坑中点燃微火，然后把苏武脸朝下放在坑上，用脚踩他的背部，让淤血流出来。苏武本来已经断了气，这样过了好半天才重新呼吸。常惠等人哭泣着，用车子把苏武抬回营帐。单于钦佩苏武的气节，早晚派人探望询问，而把张胜逮捕监禁起来。
苏武的伤势逐渐好了。单于派使者通知苏武，一起来审处虞常，想借这个机会劝说苏武投降。剑斩虞常后，卫律说，汉使张胜，谋杀单于亲近的大臣，应当处死。单于招降的人，赦免他们的罪。卫律对苏武说：“副使有罪，应该连坐到你。”苏武说：“我本来就没有参与谋划，又不是他的亲属，怎么谈得上连坐？”卫律又举剑对准苏武，苏武岿然不动。卫律说自己归顺匈奴后，受到单于的大恩，拥有奴隶数万，马和其他牲畜满山！他劝说苏武投降，同享荣华富贵。苏武无动于衷，并痛骂卫律说：“你做汉朝的大臣和儿子，不顾及恩德义理，背叛皇上，抛弃亲人。单于信任你，让你决定别人的死活，而你却居心不平，不主持公道，反而想要使汉朝皇帝和匈奴单于二主相斗，旁观两国的灾祸和损失！”卫律把苏武的态度报告了单于，单于越发想要使他投降，就把苏武囚禁起来，放在大地窖里面，不给他喝的吃的。天下雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几日不死。匈奴以为他是神仙，就把苏武迁移到北海（贝加尔湖，俄罗斯东西伯利亚南部）没有人的地方，让他放羊，并放下狠话，“羝乳乃得归”。羝为公羊。同时把他的部下及其随从人员常惠等分别安置到别的地方。
北海是如今俄罗斯贝加尔湖的位置
苏武迁移到北海后，单于断绝了他的粮食供应，只能掘取野鼠所储藏的野生果实来吃。他拄着汉廷的符节牧羊，睡觉起来都拿着，以致系在节上的牦牛尾毛全部脱尽。过了五、六年，单于的弟弟於靬王到北海上打猎。苏武有矫正弓弩的技术，於靬王很器重他，供给他衣服、食品和帐篷。三年多时间后於靬王病，赠送苏武牲畜、酒酪器皿和毡帐。王死后，人众徙去。其冬，丁令部落人抢走了苏武的全部牛羊，武复穷厄。
苏武在贝加尔湖牧羊十九年
当初，苏武与李陵（名将李广的孙子）都为侍中。苏武出使匈奴的第二年，李陵投降匈奴，不敢访求苏武。时间一久，单于派遣李陵去北海，为苏武安排了酒宴和歌舞。李陵趁机告诉苏武说：“我离开长安的时候，你的母亲已去世，我送葬到阳陵。你的夫人年纪还轻，听说已改嫁了，家中只有两个妹妹，两个女儿和一个男孩，如今又过了十多年，生死不知。我刚投降时，终日精神恍恍惚惚，几乎要发狂，自己痛心对不起汉廷，加上老母拘禁在保宫，你不想投降的心情，怎能超过当时我李陵呢！并且皇上年纪大了，大臣无罪而全家被杀的有十几家。希望你听从我的劝告，不要再说什么了！”
苏武说：“我苏武父子无功无德，都是皇帝栽培提拔起来的，兄弟三人都是皇帝的亲近之臣，愿意为朝廷牺牲一切。大臣效忠君王，就像儿子效忠父亲，儿子为父亲而死，没有什么可恨，希望你不要再说了！”面对苏武如此忠诚朝廷，李陵慨然长叹，告别苏武而去。
汉昭帝刘弗陵登位，匈奴和汉达成和议。汉廷寻求苏武等人，匈奴撒谎说苏武已死。常惠想办法见到了汉使，原原本本地述说了几年来在匈奴的情况。告诉汉使者要他对单于说：“天子在上林苑中射猎，射得一只大雁，脚上系着帛书，上面说苏武等人在北海。”，后来演变成了“鸿雁传书”的典故。汉使者万分高兴，按照常惠所教的话去责问单于，单于只好承认事实。单于召集苏武的部下，除了已经投降和死亡的人之外，总共跟随苏武回来的有九人。
苏武于汉昭帝始元六年（前81年）春回到长安。常惠后来做到右将军，封为列侯爵位。《汉书》记载：“武留匈奴凡十九岁，始以强壮出，及还，须发尽白。”意思是说苏武被扣在匈奴共十九年，当初壮年出使，等到回来，胡须头发全都白了。
苏武年老了，皇帝怜悯他，问左右的人：“苏武在匈奴很久，有儿子吗？”苏武通过平恩侯向宣帝陈述：“以前在匈奴发配时，娶的匈奴妇人正好生了一个儿子，名字叫苏通国。请求汉朝廷通过使者送去金银、丝绸，把男孩赎回来。”皇帝答应了。苏通国后来回到了汉朝，皇帝让他做了郎官。苏武活到八十多岁，汉宣帝神爵二年（前60年）病亡。
