霍光的姨母卫子夫是刘彻的皇后，舅父是大将军卫青，卫青是卫子夫的弟弟、刘彻的妹夫。同父异母的哥哥霍去病是战功赫赫的汉家大将军。霍光自然是皇亲国戚了。不过他这个外戚身份却是从天而降。
霍光出生在河东郡的一个小县城里。老父霍仲孺，早年在平阳侯曹寿家当家奴。平阳侯的妻子平阳公主有两个婢女，一个叫卫少儿，一个叫卫子夫，两人是亲姊妹。霍仲孺和卫少儿私通生了个儿子叫霍去病。大概是这个原因，霍仲孺被赶出了平阳侯府，留下霍去病由母亲卫少儿抚养长大。刘彻继位初，朝政掌握在祖母窦太后手里。他无事可做，郁郁寡欢，就经常到姐姐平阳公主家里去玩。在一次家庭舞会上他被卫子夫的美貌和舞技倾倒，一见钟情地爱上了这个婢女。平阳公主投其所好，把卫子夫送进宫里。卫子夫深得刘彻的喜爱，引起了皇后陈娇的妒忌，想用阴谋毒死卫子夫。
事情败露，刘彻一怒之下废了陈娇，卫子夫由此当上了皇后。卫子夫当了皇后以后，把弟弟卫青调进了宫。刘彻发现卫青有率兵之才，就封卫青为车骑将军。卫青出击匈奴屡立战功，被刘彻破格提升为大将军、大司马。卫青经常带外甥霍去病北征。霍去病有勇有谋，经常克敌制胜，很快被刘彻封为骠骑将军，级别仅次于大将军卫青。霍去病在一次班师回朝的途中听说自己的生身父亲霍仲孺流落在河东郡，而且又有了个异母弟弟，就请父亲和弟弟来见。霍去病见弟弟霍光年龄不大却长得人高马大、气宇不凡，遂将他带进了京城，认了姨母卫皇后和舅舅卫青。霍光由此成了皇亲国戚。
有一天，卫青突然对霍光说皇上要召见他，霍光当时吓得胆战心惊，他一个乡下孩子怎么敢受皇帝召见呢？卫青安慰霍光说：“别看皇上赫声威震，大臣们畏君如虎，但对小孩子们可好了。金日磾的儿子金赏、金建都是他的好朋友。他听说你是从乡下来的又是皇后和我的外甥，决定见见你。”
两人进到刘彻的寝宫，霍光站在宫门口不敢进去。卫青鼓励他：“有我在，别怕。”刘彻在里面听到外面有人说话，知道是卫青和霍光来了，传出话来：“还愣在那里干什么，快进来呀！”
刘彻一见霍光就喜欢上了这个壮小伙子，远远就招着手让霍光走近他，并拉着霍光和他并肩坐在一起。霍光感动得涕泪泗流，趴在地上连连磕头。从那时他就暗下决心要为皇帝鞠躬尽瘁，报效朝廷。刘彻当时想留霍光在身边，霍光却要求随舅舅一起出征去扫荡匈奴。刘彻欣赏霍光的鸿鹄之志，批准了他的要求，封他为军前都尉，随大军北征。经过几个战役，卫青看外甥不仅是个将才还是个帅才，就把属下的一支轻骑部队交给了霍光。在定襄的一场恶战中，匈奴的部队被击溃向西北逃走，霍光带着轻骑部队穷追。追到定襄北二百里处遇到一条峡谷，霍光怀疑敌人会在这里设下埋伏，就派几个士兵化装成匈奴兵去侦察。当时因为天黑，侦察兵没有发现匈奴的伏兵，回来报告后霍光就驱兵前进。
可是刚进入峡谷，就被匈奴伏兵包围，霍光和将士们拼力厮杀，终是寡不敌众，眼看就要全军覆没。霍光对将士们说：“为皇上尽忠的时候到了，大家宁死也不要当俘虏。”他们抛下马匹与敌兵展开了肉搏战。峡谷里突然卷起了暴风，漫天沙尘，敌我难分。霍光暗暗传令，汉军袒右臂为标记，只虚张声势不可恋战。匈奴兵分不清哪是自己人哪是汉兵，乱马驰骋，自己把自己人踩死大半，不得不撤兵。霍光率仅剩的一半部队乘胜追击，直把匈奴兵赶到漠北。这场转败为胜的战役震动了朝廷，刘彻亲率满朝文武大臣到京城外迎接霍光班师回朝。当刘彻看到盔甲破碎、浑身带伤的霍光时，不顾自己的身份，抛开跟随他的大臣扑过去抱住了霍光，感慨地说：“我的两个外甥(霍去病和霍光)都是好样的。”
