刘知远，唐乾宁二年二月四日生于太原。知远幼时弱不好动，严重寡言，及长，面紫色，目睛多白。初事唐明宗，列于麾下。明宗与梁人对栅于德胜，时石敬瑭为梁人所袭，马甲连革断，刘知远辍骑以授之，取断革者自跨之，徐殿其后，敬瑭感而壮之。明宗继位，石敬瑭为北京留守，以刘知远前有护援之力，奏移麾下，署为牙门都校。
清泰元年，石敬瑭复镇河东。刘知远劝石敬瑭起事，石敬瑭赞成密计，经纶之始，中外赖之。石敬瑭以刘知远为北京马步军都指挥使。及契丹以全军赴难，大破张敬达之众于晋阳城下，石敬瑭知道刘知远性格甚烈，尝对左右说：“此吾之烈豹”。
契丹大军入汴，诸将萧翰、耶律郎五、麻答辈肆杀掠，契丹翰林承旨，兼吏部尚书张砺奏说：“今大辽始得中国，宜以中国人治之，不可专用国人及左右近习。苟政令乖失，则人心不服，虽得之亦将失之。”张砺，字梦臣，磁州滏阳人。世为农。砺幼嗜学，有文藻。在布衣时，或睹民间争竞，必为亲诣公府，辨其曲直，其负气也如此。唐同光初，擢进士第，寻拜左拾遗，直史馆。会郭崇韬伐蜀，奏请砺掌军书。蜀平，崇韬为魏王继岌所诛，时崇韬左右亲信皆惧祸奔逃，惟砺诣魏王府第，恸哭久之，时人皆服其高义。天成初，明宗知其名，召为翰林学士，历礼部、兵部员外郎、知制诰充职。清泰中，复授尚书比部郎中、知制诰，依前充学士。石敬瑭起于晋阳，唐末帝命赵延寿进讨，又命翰林学士和凝与延寿偕行。砺素轻和凝，虑不能集事，因自请行，唐末帝慰而许之。及后唐军败于团柏谷，张砺与延寿俱陷于契丹，契丹以旧职縻之，累官至吏部尚书。张砺素耿直，始陷契丹时，曾背契丹南归，为追骑所获，契丹主怒说：“尔何舍我而去？”砺说：“砺，汉人也，衣服饮食与此不同，生不如死，请速就刃。”契丹主顾通事高唐英说：“我常戒尔辈善待此人，致其逃去，过在尔辈。”因笞唐英一百。耶律德光不听张砺进谏，不过重其言，改张砺右仆射，兼门下侍郎、平章事。
耶律德光占领河南后，派各个契丹将领带兵几百到几千到后晋的各个大镇驻守收管地盘。当时赵在礼从藩镇奔赴京城，契丹首领奚王拽剌等正在洛阳，赵在礼前去致礼，而契丹首领听闻赵在礼收割了很多民脂民膏，于是向赵在礼索取货物财宝，还让兵士羞辱赵在礼，赵在礼感到非常愤恨。走到郑州，赵在礼止歇在旅舍，听说同州节度使刘继勋被契丹拘捕，非常震惊，害怕自己也被契丹人拘捕。当晚，赵在礼用衣带系在马棚栏杆上上吊自杀而死，时年六十六岁。皇甫晖被晋少帝封为密州刺史，契丹南下，后晋灭亡，皇甫晖为了躲避契丹人，率领其州人逃到江南，投奔南唐。南唐皇帝李璟派人乘船逆江而上去接应他们，到南唐之后，李璟封皇甫晖为歙州刺史、神卫都虞候。
刘知远初听闻杜重威投降，大骇，分兵守境，以备寇患。后知道契丹势大，乃问计于谋士苏逢吉，苏逢吉说：“知己知彼，百战百胜，公可以派人到东京窃探契丹的虚实。”刘知远于是遣牙将王峻假意奉表于耶律德光。
王峻出了河东后一路上看到契丹的士兵烧杀抢掠心中大怒，到开封后呈上刘知远的归降表，耶律德光看到刘知远的降奉大喜，赐诏书褒奖赞美刘知远，呼刘知远为儿，又赐木柺一（木柺乃贵重大臣方得此赐）。王峻持柺到东京各处乱逛，凭着耶律德光的木柺，契丹没人敢挡王峻。及归，契丹兵望之皆避路。
王峻至太原，对刘知远说：“耶律德光纵辽兵打草谷（征粮），又遣使括民财，其残暴的统治激起中原人民普遍反抗”。刘知远大笑说：“桑维翰说‘方今契丹未可与争者有其七’，其实其忽略了一点就是‘得民心者得天下，失民心者失天下’。契丹奴役中原人民就是失民心，败局定矣。”
苏逢吉、杨邠、郭威和史宏肇等将领见皆劝刘知远建号，以收民望。刘知远见晋少帝还在，故不答应。是月，秦州节度使何建不想受契丹的控制以其地入于蜀。
耶律德光下旨：“降晋少帝石重贵为光禄大夫、检校太尉，封出帝，令赴渤海国黄龙府安置“。癸卯，帝出帝与皇太后李氏、皇太妃安氏、皇后冯氏、皇弟重睿、皇子延煦延宝俱北行，以宫嫔五十人、内官三十人、东西班五十人、医官一人、控鹤官四人、御厨七人、茶酒三人、仪鸾司三人、军健二十人从行。宰臣赵莹、枢密使冯玉、侍卫马军都指挥使李彦韬随入蕃，契丹主遣三百骑援送而去。所经州郡，长吏迎奉，皆为契丹主阻绝，有所供馈亦不通。旧臣无敢候谒者，穀独拜迎于路，君臣相对泣下。尝一日，出帝与太后不能得食，乃杀畜而啖之。出帝过中渡桥，阅前杜重威营寨之迹，慨然愤叹，对左右说：“我家何负杜重威，为此贼所破，天乎！天乎！”于是号恸而去。
河东行军司马张彦威与文武将吏等上笺劝进，笺说：“中原无主，人民盼公起义如婴儿盼父母，公威望日隆，群情所属，应该早登大位，不然像秦州节度使何建那样就会投靠他国。”刘知远谦让不允。自是群官三上笺，诸军将吏、缁黄耆耋，相次迫请，刘知远教答允之。
时，陕府屯驻奉国指挥使赵晖、侯章、都头王晏等戍陕州。会契丹至汴，遣其将刘愿据陕，恣行暴虐。王晏与晖等谋说：“今契丹南侵，天下汹汹，英雄豪杰固当乘时自奋。且闻太原刘公，威德远被，人心归服，若杀愿送款河东，为天下倡首，则取富贵如反掌耳！”晖等然之。
晚上，王晏乃率敢死士数人，逾城入府署，劫库兵给其徒。迟明，大家举起并且攻入府衙，斩契丹首领刘愿的头颅悬府门外。众请赵晖为帅，侯章为本城副指挥使、内外巡检使兼都虞候，乃遣其子侯汉伦奉表晋阳。
耶律德光听说陕府叛乱，惊慌不已，因授赵晖为陕州兵马留后，侯章为本州马步军都指挥使，王晏为副都指挥使，赵晖看到耶律德光的受表，怒对契丹的使者说：“耶律德光何人？既然来任命我等。”于是不受命。
晋开运四年，刘知远即位晋阳，国号汉，是为后汉高祖。刘知远以皇长子承训为左卫上将军，二子承祐为左卫大将军，三子承勋为右卫大将军，皇女彭城郡君宋氏封永宁公主，皇侄承赟为右卫上将军。以河东节度判官苏逢吉为中书侍郎、同平章事、集贤殿大学士，以河东观察判官苏禹珪为中书侍郎、同平章事。拜杨邠为枢密使、中书侍郎兼吏部尚书、同平章事。授郭威权枢密副使、检校司徒。以北京马军都指挥使、集州刺史刘信为滑州节度使，充侍卫马军都指挥使、检校太傅；以北京随使、右都押衙杨邠为权枢密使、检校太保；以北京武节都指挥使、雷州刺史宏肇为许州节度使，充待卫步军都指挥使、检校太傅；以北京牢城都指挥使、壁州刺史常思为邓州节度使、检校太傅兼权北京马步军都指挥使、三城巡检使；以河东行军司马张彦威为同州节度使、检校太保；以河东左都押衙扈彦珂为宣徽南院使、检校司徒；以右都押衙王浩为宣徽北院使、检校司徒；以两使都孔目官王章为权三司使、检校太保。
契丹主耶律德光闻赵晖不受命、刘知远在太原建号，大怒，伪制削夺刘知远官爵。以通事耿崇美为潞州节度使，高唐英为相州节度使，崔廷勋为河阳节度使，以扼要害之地。
汉帝刘知远听闻出帝举族北迁，愤惋久之，是日，率亲兵趋土门路，想半路抢夺邀迎出帝至寿阳，闻其已过，叹息不已，乃还。
出帝至幽州，倾城士庶迎看于路，见帝惨沮，无不嗟叹。驻留旬余，州将承契丹命，犒帝于府署，赵延寿母以食馔来献，出帝大怒，对着赵延寿的母亲就是一阵狂殴，左右连忙将出帝拉开。出帝恨恨的对赵母说：“你怎么生了个忘恩负义的儿子？”赵母低头无言以对。赵延寿的母亲被打得容貌尽毁，赵延寿大怒，令人将出帝送出幽州，自范阳行数十程，过蓟州、平州，至榆关沙塞之地，略无供给，每至宿顿，无非路次，一行乏食，宫女、从官但采木实野蔬，以救饥弊。
又行七八日至锦州，契丹迫出帝与妃后往拜安巴坚遗像，出帝不胜屈辱，泣说：“薛超误我，不令我死，以至今日之辱也。”又行数十程，渡辽水，至黄龙府，即契丹主所命安置之地也。
刘知远称帝后，天下诸侯纷纷归顺，但代州刺史王晖叛归契丹，刘知远遣都将史宏肇率兵讨代州，宏肇一鼓而拔之，斩晖以徇，代州平。
张从恩弃城而逃，潞州留守王守恩专管郡务，对军事毫无准备。正逢汉将李万超屯兵潞州，契丹令赵延寿的族弟赵行迁为副将，王守恩与高防合谋，杀掉副将赵行迁，指挥使李万超也帅部下杀掉契丹使者，众人并推举王守恩为主帅，献城归顺刘知远。
刘知远听闻潞州归顺，大喜，即令王守恩为潞州节度使。契丹主听闻王守恩以上党附刘知远，命大将耿崇美率众登太行，欲取上党，刘知远命史宏肇以军应援，军至潞州，契丹退去，王守恩以泽州迎降。
契丹在中原的烧杀抢掠激起了中原人民的普遍反抗，契丹主乃准备北迁。时契丹以族人朗鄂为澶州节度使，朗鄂性贪虐，吏民苦之。王琼为澶州水运什长，乃构夏津农民军帅张乙，得千余人，沿河而上，中夜窃发，自南城杀守将，绝浮航，入北城，朗鄂据牙城以拒之。
契丹主闻澶州变，惧甚，对众将说：“听闻王琼和农民军断澶州浮梁，如果汉人在河北起义，那我不是有家归不得！”拒由是大河之南无久留之意，寻遣天雄军节度使杜重威归镇，镇压河北义军。数日，眼看就要破牙城，会契丹救至，王琼败死。
刘知远潜遣河朔酋豪粱晖入据安阳，粱晖侦知相州颇积兵仗，且无守备，遂以三月二十一日夜与其徒逾垣而入，杀契丹数十人，夺器甲数万计，遂据其城。
耶律德光听闻安阳丢失，大惊失色，忙遣相州节度使高唐英率兵讨之。高唐英率军来到，粱晖率军出战，高唐英出马说：“何处鼠辈？既然敢夺取我城池！”粱晖出马大说：“安阳可是我汉家的城池，怎么是你的？有胆量和老子大战三百回合。”高唐英大怒，和粱晖恶战，双方大战一百回合，粱晖不敌，退守安阳城，并派快骑向刘知远求救。高唐英把安阳城团团围住，契丹军攻打了一星期未拿下，耶律德光令高唐英撤军。
安阳与东京近在咫尺，是契丹北归的必经之路，耶律德光患之，即谋北旋。是日，契丹主坐崇元殿行入阁之礼，以舅萧翰为宣武军节度使，令其镇中原。宰相张砺反对说：“萧翰残暴不仁，与解里好掠人财物子女，不可以镇中原。“耶律德光不听。
此时，有一个从安阳城逃出的贪财之人告契丹兵说：“安阳城中壮丁多战死，大部分是虚弱老弱，可以拿下。”耶律德光于是下令归国，对外宣称：“御驾亲征安阳。“契丹还攻安阳，粱晖无备，耶律德光陷其城，遂屠安阳城。
翼日，耶律德光北去，命高唐英镇安阳，大军来到邺城，杜重威与妻石氏诣牙帐贡献而回。唐英阅安阳城中遗民，得男女七百人而已，其余人皆被屠杀。刘知远派大将郭进率军援助安阳，大军赶来之时，安阳已被屠，郭进大怒，下令死战，将士们一鼓登城，高唐英落慌而逃。
契丹撤退时，船载后晋武库兵仗，自汴浮河，欲置之于北地，方具舟数十艘载铠甲，令后晋降将武行德率将校军卒千余人送归其国。船从汴都至河阴，武行德谓诸将说：“我辈受国厚恩，而受制于契丹，与其离乡井、投边塞，为异域之鬼，曷若与诸君驱逐凶党，共守河阳，姑俟契丹兵退，视天命所属归之，建功业，定祸乱，以图富贵可乎？”众素服行威名，皆说：“所向惟命，不敢爱死。”武行德即杀契丹监使，分授器甲，由汜水倍道抵河阳。
契丹节度使崔廷勋出兵来拒，行德麾众逆击，自旦及午殊死战，廷勋大败，弃城走。武行德遂据河阳，尽以府库分给将士，因推行德知州事。时契丹兵尚充斥，行德厉士卒，缮甲兵，据上游，士气益奋，人望归之。
武行德闻刘知远起太原，即自称河阳都部署，遣其弟行友间道奉表劝进、求援，刘知远览奏喜甚，即授武行德河阳三城节度。遣史宏肇遂率众南下，时，崔廷勋与奚王伊喇保怀州，寻以兵反攻武行德，行德出战，崔廷勋左手拿大刀，右手抚美须髯。武行德大笑说：“你以为你是关公啊！”挺枪直取崔廷勋，双方大战一百回合不分胜负，伊喇领军冲杀，武行德为廷勋所败。
史宏肇率大军来到，武行德和史宏肇一起杀回，大败崔廷勋和伊喇，伊喇听闻契丹主耶律德光卒于镇之栾城，连忙和崔廷勋撤军北还。武行德和史宏肇合兵直趋洛阳，伪命西京留守刘晞弃洛城，南走许州，洛京巡检使方太自署知留守事。武行德大军来到城下，遣使召方太，使者说：“留守如能迎汉军，推之为帅。”方太信之，领兵出迎，被武行德一刀砍于马下。
是日，蕃将耿崇美屯泽州，史宏肇遣先锋将马诲率兵击之，崇美退保怀州。刘知远由晋、绛至洛，高唐英遣使归款，汉祖大悦，将厚待唐英。使未回，高唐英亲信王继宏与指挥使樊晖等共杀唐英，王继宏自称留后，令判官张易奉表于刘知远。刘知远加王继宏检校太傅。人或责以见利忘义，王继宏说：“吾侪小人也，若不因利乘便，以求富贵，毕世以来，未可得志也。高唐英助耶律德光屠安阳城之时，谁又可怜安阳的百姓。”武行德听说刘知远至洛，迎候境上，以所部兵翼至京师，还河阳。刘知远以河阳都部署武行德为河阳节度使、检校太尉，充一行马步军都部署。