刘渊是西汉时期匈奴首领冒顿单于的后裔。汉高祖刘邦将一位宗室之女，作为和亲公主嫁给冒顿单于，并与冒顿单于相约为兄弟，所以，冒顿单于的子孙都以刘氏为姓。

    刘渊年幼时，就非常聪慧。刘渊七岁时母亲呼延氏去世，他伤心得捶胸顿足，嚎啕大哭，旁人都被他的悲伤所感动，宗族、部落的人都赞赏他的孝顺。

    刘渊自幼爱好学习，拜上党人崔游为师，学习《毛诗》、《京氏易》和《马氏尚书》，他尤其喜爱《春秋左氏传》、《孙吴兵法》这两部书，大致都能诵读，而《史记》、《汉书》及诸子的著作，没有不阅读的。刘渊曾经对一起学习的同学朱纪、范隆说：“我每次看书传的时候，往往禁不住要鄙弃随何、陆贾的缺乏武功，周勃、灌婴的缺少文才。道是由人来发扬光大的，一个方面的知识不了解，本来就是君子所看不起的。随何、陆贾遇上汉高祖而不能够建立起封侯的功业，周勃、灌婴跟随汉文帝而不能开创教化的大业，可惜啊！

    于是刘渊开始学习武学知识和技能，精妙出众，他臂长而善于射箭，体力超过一般人。姿态、仪表魁梧，身高八尺四寸，胡须长三尺多，心口上有三根红色的毫毛，长三尺六寸。当时，屯留人崔懿之、襄陵人公师彧等都善于给人看相，见到刘渊，他们都非常惊奇，并且相互转告说：“这人的形体、相貌不一般，是我从来没见到过的。”于是，他们对刘渊都非常崇敬，彼此间按照名分建立起恩情。太原人王浑像对待朋友一样虚心地对待他，并且让他的儿子王济拜见他。

    司马伦篡位称帝，天下大乱，盗贼蜂起。刘渊的堂祖父，原来的北部都尉、左贤王刘宣等人秘密商议说：以往，我们的先人与汉朝约为兄弟，忧和喜共同享有。汉朝灭亡以来，魏、晋继而兴起，我们单于，虽然有一个空虚的名号，可是不再拥有哪怕一尺土地的基业，从王侯慢慢下降到同平民差不多。现在司马氏亲骨肉间相互残杀，天下一片动荡，我们建立国家、复兴祖业的时机到了。

    有人说：右贤王刘渊的姿貌、风仪和才能超人绝世，上天倘若不是要光大单于，不就虚生这种伟人了吗？

    于是秘密地共同推举刘渊为大单于，并且派他们的党羽呼延攸到邺城，将秘谋的内容告诉刘渊。

    刘渊请求成都王司马颖：说族中长者有死者，为族中德高望重之人，现在父亲已经去世，自己身为族中君帅，应当回去给他老人家送葬，让他入土为安。

    成都王司马颖知道刘渊并非池中之物，让他回去，无异于放虎归山说：右贤王身份尊贵，现在朝廷刚刚安稳，还要仰仗你的威名镇摄不安分的人呢！并且族老为德高望重之人，知道你因为国是不能回去送他一程，他也会高兴的，便没有答应他。

    刘渊知道成都王司马颖提防自己，于是刘渊让呼延攸先回去，告诉刘宣等人招集五部人众，会同宜阳的诸多胡人，表面上宣称响应司马颖，实际上却是要图谋叛变。