朱温称霸中原后，觉得地盘还是不够大，不够自己折腾的，所以胃口也越来越大。唐天祐元年（904年）十一月，朱温亲征淮南。

淮南有些年头没有和朱温打过仗了，此时朱温兵强马壮，一路南下，横冲直撞，摧枯拉朽般地夺取了大片土地，吴王杨行密一点办法都没有。后来，朱温在寿州（今安徽淮南）遇到了一点麻烦，无论如何挑战，淮南军死守不出战，朱温只好撤军。但他并不甘心就此作罢，唐天祐二年（905年）七月，朱温命大将杨师厚攻打山南东道节度使赵匡凝。赵匡凝打不过杨师厚，只好狼狈地逃奔淮南。

此时的朱温志得意满，他想要的东西没有拿不到的，天下没有谁能阻止他开疆拓土。与此同时，朝中的蒋玄晖、柳璨等人开始为朱温张罗改朝换代的事情。但在朱温看来，他们的意图是好的，但做法太过老套、太过哆嗦。蒋玄晖建议改朝换代必须遵守老祖宗的礼数，就是先封大国，加九锡礼，然后再实行禅代之事，朱温大骂他说：“难道不受九锡就不能当皇帝吗？”

此时，朝中有些人比较同情唐朝，于情于理朱温都不能表现出称帝的愿望，朱温当然知道这些，所以，有人劝他登基做皇帝时，他假意推辞，说自己还是要做梁王。而蒋玄晖、柳璨等人却急着要朱温当皇帝，逼小皇帝李柷再加朱温九锡礼，这种做法让很多人不齿。当然朱温也意识到，此二人定是为了荣华富贵，才让他背这个臭名，于是他一狠心，把这两人杀了。同时，也是做给众人看：“我朱温可不是你们想象的那种人！”

唐天祐三年（906年）九月，朱温发兵攻打沧州。刘仁恭赶忙派兵来救，但他知道朱温不好惹，只是做个样子，却不敢和汴军真的开战。眼看粮食用尽，沧州就要撑不下去了，朱温在城下劝刘仁恭的长子刘守光说：“你父亲是我的手下败将，见到我就害怕，他定不会来救你，还是赶快投降吧。”

刘守光虽然比较迂腐，但不信朱温那套，于是回了句：“我是刘仁恭的儿子，当然要为父亲守城。大王现在要以仁义制服天下，所以我更不能投降。大王如果用我这个背叛父亲的人，那么天下将如何看待大王？”朱温觉得他说的有理，无言以对，便暂缓攻城。

刘仁恭担心儿子撑不住，便又向河东的李克用求救，李克用本想拒绝，可李克用的儿子李存勖却说：“现在能成为朱温威胁的只有父亲和刘仁恭，如果刘仁恭被灭，我们会更加危险，到时悔之晚矣。”于是，李克用派养子李嗣昭、军事将领周德威等人去抄朱温的后路。没想到驻守潞州的汴军大将丁会突然投降李嗣昭，汴军士气因此大受影响，朱温为此郁闷了好些日子。

这时手下大将罗绍威劝朱温不如废掉李柷自立，让那些反对朱温的人闭嘴。朱温没有立即答应罗绍威，但也觉得时机差不多了，再打唐朝的旗号也没有啥用，各派势力都会视自己为死敌。思量再三，朱温做了一个大胆的决定：废掉唐哀帝李柷，建立新朝。

唐天祐四年（907年）二月，朱温在汴梁正式称帝，改元开平，国号梁。因为皇帝姓朱，为与南北朝时的南梁相区别，故又称朱梁，或者后梁。从此，朱温正式坐上了五代的第一把交椅，更名为朱晃，史称后梁太祖。

后梁的建立，也宣告延续了近300年的唐朝正式灭亡，但此时天下仍四分五裂，地方上的一些军阀意见不一，李克用、王建、李茂贞、杨渥等人坚决不承认后梁政权，仍然延用唐朝年号；而其他的一些藩镇，却较听话，适时向朱温称臣。难怪欧阳修说：“呜呼，五代之乱极矣。”