建武元年刘琨和段匹磾在无终县看到凉州张寔的劝进文刘琨和段匹磾歃血盟誓，相约拥戴辅佐晋室约为兄弟。刘琨派遣长史温峤，段匹磾派遣长史荣邵，共同奉呈上表和誓文前往建康进劝晋王司马睿即帝位。司马睿称帝后，命荣邵回去复命，加封刘琨太尉，封段匹磾为幽州刺史。并赐刘琨龙渊剑，同年段匹磾命刘琨为大都督段部军队随意调用。刘琨拜谢，段匹磾说到：“兄弟之间，何行此举？”刘琨说到：“兄见我难，及时援之，当授此之礼。”说完二人互相搀勉，设酒宴商讨进攻石勒事宜。
七月，段匹磾推举刘琨为大都督，传书邀请其兄长辽西公段疾陆眷、叔父涉复辰、弟段末波等在固安会聚，共讨石勒。段末波游说段疾陆眷、段涉复辰说：“岂有父兄之辈追从子弟，此乃段氏之耻也，如侥幸立功，段匹磾独收其利，我辈可有所获之利？”段疾陆眷说到：“段公乃族内之人，命我等发兵必有其理。”段末波又说：“段公持朝命，今命我等举兵随之此乃试探之举！”段疾陆眷问道：“何以见得？”段末波说：“段公与刘使君，桃园之交。二人皆为人杰也，今命我等举兵相随，恐生不虞之变！且我等既无兵识，也无才贤，去之何用？战死与前，辽西公之位必段公所获。此乃二人计谋，一石二鸟之举，不宜前去！”又乘机收买二人部众将领，让其将领也对其劝说。于是段疾陆眷、段涉复辰、段末波三人商讨一日后，各自领军退还。刘琨、段匹磾见状二人忿忿不平，回师无终县。
太兴三年元月辽西公段疾陆眷在令支去世，段末波用尽钱财收买其麾下士卒。其子段括于正处幼年，叔父段涉复辰受段末波间臣蛊惑诱说，设坛祭祖，自立为燕王，未告知段匹磾。段匹磾与刘琨之子刘群由无终县出发去奔丧，段末波对段涉复辰说：“段匹磾和刘群此来，必夺尊位。当以严兵拒之！”段涉复辰思考再三同意拒兵固守。段匹磾到达北平郡，斥候说到情况有变。段匹磾问计于长史荣邵，荣邵说“辽西公刚刚驾薨，部族一时群龙无首，情况有变在所难免，段公尽可前往。”段匹磾深感不安却依旧前往。段末波和段涉复辰在帐内商议阻拦段匹磾之事，段末波在旁不停煽风点火，唆使段涉复辰发兵，段涉复辰感到段末波不对劲。对段末波劝说道：“此族内之事，有害段公之举！吾不能行之！”段末波听闻后持刀近杀段涉复辰，出其军帐说到：“段涉复辰自立燕王！无视晋廷，有负晋帝。吾受密诏，今诛其人。其部曲无知，但有拥立之罪。若肯归降，即行赦免。”部众大小将选择归附段末波。段末波兼并其部曲，拥众五千人自称单于。段匹磾听闻段末波此举，气昏坠马。刘群等人对段匹磾喂水停行，段匹磾这才半醒命人从郡内出军二千打算和段末波开战。段末波乘段匹磾军队未到齐，突袭段匹磾，杀败段匹磾军并俘虏刘群，段匹磾败军不敌。后随荣邵被迫返回无终县。刘琨得知后对二人说：“此辈必是蓄谋已久，如若不除，恐来日为患！”三人连夜商讨进军策略。
翌日子时二人携二千军士，命士卒压低脚步，暗中开进段末波驻军处，发现有哨兵。段匹磾想要拉弓射箭，被刘琨阻止，刘琨拿起胡笳躲至营门篱后吹索魂曲。哨兵和营内士卒听闻此曲，皆观望而去，营门外却空无一人。曲声凄凉惨淡愈来愈烈，众士恐慌，弃守而去。刘琨见哨站兵士退走，命士兵攻营。段末波听闻军中杀喊声，与其侍从王名互换衣着，段末波将自己坐骑交与王名令其快马奔逃。自己则持剑裹挟刘群弃军而走。王名骑马被段匹磾看到，段匹磾拉弓搭箭说到：“汝屡害于我，今必杀之。”一箭将其人射落马下，刘琨于段匹磾前去查看发现是王名且已经毙命。至二日寅时段末波乱军平定，却依旧不见段末波和刘群。二人只能撤军深感无望。
段末波逃至土垠县拥兵固守并厚待刘琨的儿子刘群，刘群对此一一不受。段末波大怒持剑让刘群给刘琨写信，信中写：“幽州刺史必受于父。我已与段末波和议，相约攻段匹磾军。”刘群写完信，段末波拿起信检阅三次后，又在信匾上写“与父共谋，段公之命”才肯交与信使，命人将此信送去段匹磾处，并对其说道：“若段匹磾不受此信，汝可将信弃于门前！后可自由去之。”信使听从，前往无终县。段匹磾此时在读刘琨写的诗，自言之：“琨兄之才胜磾五倍有余，不知能否共度此时难关。”信使到来，言：“刘群有信交于刘使君！”段匹磾说到：“刘琨在练军，汝可去军营至信！”信使慌乱将信丢于地上，慌忙离去。段匹磾主簿商史征捡到地上信件，打算骑马前去交于刘琨。商史征无意看了一眼信件，看到赫然的八个大字“与父共谋，段公之命”。主簿快步将此信交于段匹磾，段匹磾看到后，面色不悦口气迟缓说道：“此乃离间计，我不能识呼？段末波此举，如此拙劣，恐只能骗到王浚这样的愚痴之辈！”刘琨练军回县，听闻此事。连连赞道：“段公不受离间，此乃圣人之明也！”段匹磾心中不定说到：“琨与我约为兄弟，兄弟之间怎能相互猜忌？”刘琨打开信一看，确实是自己儿子刘群的字样，唯独信匾的八个字不是刘群所写。感叹道：“段末波，其人之识。可得半壁天下。将我等逼迫至此，此人绝非易于之辈。”刘琨欲从麾下选人前去救出刘群，侍女武氏听闻要便要求前往。刘琨不许，武氏说：“使君待我如亲女，女八岁于并州被使君救助。如今不能报答使君，乃今生遗憾，将不再相面。”刘琨不好拒绝，只能答应并将胡笳和龙渊剑交于武氏。嘱托道：“汝不见过我儿。示之二物于刘群，刘群见此如见我。”命侍卫三人随武氏一同前往。四人入城四处打听，得知在段末波院内，于是逾墙而入。找到刘群，刘群问道：“汝等何人？”武氏说到：“刘使君遣人来救！”并出示胡笳，把龙渊剑交与刘群，刘群又见到胡笳相信来人。便随其一同离去，此时段末波亲自领兵巡城，撞见刘群其人。命士卒将刘群等人捉拿，五人且战且走。终因寡不敌众悉数被擒，将五人关押于县牢。并派出斥候探明刘琨虚实。
段末波闻斥候所报，二人依然如旧，不受离间。斥候说到：“刘琨，段匹磾带甲三千巡游郡内意图不明。”段末波大怒骂道：“愚蠢，哪有带甲三千巡游郡内？这分明是来兴师问罪于我！”段末波无望只能求助于慕容廆和石勒，至慕容廆信写道：“我等皆为鲜卑人，今刘使君和段公预谋我也。可至公处暂避时日？”慕容廆看到信后回复道：“余同刘琨，段匹磾同为朝臣！汝今攻杀朝中重臣，余正要以铁骑踏平汝城，汝自寻死路！”，予石勒信中写：“兄欲杀刘，段二人日久，我今据一城而守，可助一臂之力”石勒见信大喜，求计张宾。张宾说道：“先应之此事，陈兵二千至渤海郡。壮声势即可。此人同时得罪于刘琨和段匹磾慕容廆三人。活至今日，必有其生存之道。”石勒答应发兵，陈兵两千号称二万军据渤海郡，命段末波死守土垠。段末波命城内紧闭集中搜缴粮食，放出百姓让他们散播流言，说石勒将引军二十万来攻。不日攻灭刘，段二人！
刘琨和段匹磾听闻石勒大军将至积极整备，三日集兵一万，由刘琨为主将，箕澹任军师。荣邵，刘遵任参将。段匹磾坐镇后方领族兵二千，防止段末波引军背袭。段末波登城观望，远远看到段匹磾拉弓引箭，一箭中城匾。段末波城中守军不足四百人，又命城内女子带戈登城。段末波又命刘群写信交于段匹磾，段匹磾看到信面色忧愁。后派斥候去城中而探，得知段末波下令无论男女上城戍守之事。命人向城中喊话“段末波豺狼也，尔等持百斤之铁，为其效力，一但战死家中幼童何人照料。莫非指望段末波一人赡养城中幼子？”段末波慌乱，于是用剑顶着刘群。对刘群低声说：“如不能令段匹磾退兵，今日汝必死！”刘群对段匹磾说道：“我父今获师万余欲自立之，和城中之士相约夹击足下。足下不信此乃我父信物。”说完将刘琨胡笳丢下，段匹磾看到胡笳后难以置信，段匹磾犹豫片刻说到：“仅凭此物？恐难以令人信服！”刘群又解下腰间龙渊剑丢下，段匹磾看到龙渊剑后双目圆睁，断气昏阙。其主簿商史征扶起段匹磾下令撤军。段末波见状大喜过望，放刘群等人返回。
段匹磾回无终县命人招刘琨入城说是粮草事宜，刘琨单骑入城。段匹磾命人四上捉拿，并给刘琨看了他的胡笳和龙渊剑。刘琨看到后明白，这是段末波的离间计生效了，告诉段匹磾来龙去脉。但段匹磾还是将刘琨下狱。刘琨素有名望，狱中前来探望者甚众，远近之人尽皆愤叹，段匹磾的长史荣邵都弃段匹磾而去。辟闾嵩与箕澹企图反叛段匹磾救出刘琨，因泄密而各相逃散。东晋王敦派人至信段匹磾，段公打开信看到信中却空空如也，信使告诉他王敦之意。让段公杀刘琨，如杀刘琨可封段匹磾作幽州牧。段匹磾将王敦使者来意告知刘琨，刘琨对刘遵说：“处仲使来而不我告，是杀我也。死生有命，但恨仇耻不雪，何以见二亲？”
五月段匹磾自称收到晋元帝诏旨要将刘琨缢杀，刘琨死前对段匹磾说道：“我去之后，汝当防范石勒来攻，汝若不听则段氏大事去矣。”段匹磾冷笑说到：“使君所言我当谨记于心！越石今日离去乃王敦授意。”说完缢杀刘琨，刘琨遇害。时年四十八岁，刘琨婢女哀哭一日，直到眼泪不出，哭血而晕猝。苏醒后收拾刘琨仅剩遗物向南而去。六月晋庭得知刘琨死讯，碍于王敦无人敢吊祭刘越石。刘琨死后，刘群、卢谌、崔悦等投奔辽西段末波。箕澹和荣邵投降于石勒。太兴三年刘琨的从事中郎卢谌、崔悦等上表朝廷为刘琨鸣冤，太子中庶子温峤也上表附议。晋元帝于是追赠刘琨为侍中、太尉。石勒听闻刘琨（刘越石遇害，带领昔日刘琨并州降将身穿素衣，亲自念悼词向东北跪拜。对其旧部说道：“刘使君人杰一时，昔日东攻刘聪南下御我。今遭段部鲜卑所害，我欲讨平段部鲜卑为刘越石正其名节！”麾下将领无不动容，纷纷请战……