两人的仇隙发生于至德元年，当时顾佐兵进长安，召集重臣，共谋拥立今上，由于对杨国忠继续主持政事堂有异见，韦见素被顾佐斥退。
失去故相李林甫关照的吉温日子非常难过，立即抓住这个机会，对韦见素开始查劾，罗织了十多条罪名，欲图治以重罪，向顾佐投效。韦见素一时岌岌可危，甚至有性命之忧。
可接下来发生了一系列大变，叛军兵围长安、崇玄署带山飞升、顾太师回转南吴州、天下灾害频发，再加上韦见素曾为今天子潜邸旧臣，此案不了了之，韦见素只是去了“同平章事”的职衔，其他照旧。
这下子，吉温就尴尬了，和一部尚书成了死仇，当真是有苦说不出。好在这两年朝廷没有精力内斗，疲于应付各地灾害，否则韦见素反手过来就能把没有了后台的吉温整死。
这样的两户人家做了邻居，情况还能好得了？隔着露台，两人就爆发了口舌冲突，一开始还只是讽刺挖苦，但话说多了，言辞就越来越激烈、狠话越撂越多，一发而不可收拾。
如果是换作以前，哪怕是一两个月前，绝不可能爆发如此冲突。大臣的争斗，很少当面锣对面鼓的撸起袖子赤膊上阵，讲究的是谈笑之间，政敌灰飞烟灭。可两人都是一路惊险，狼狈逃亡南吴州，眼看着天下将崩，朝堂散架，各自心里都郁积着一股邪火，此刻再也忍耐不住，直接就打了起来。
整个过程类似于如下状况：
“真是冤家路窄啊，我当时就应该弄死你！”
“来啊来啊，你牛逼现在就弄！”
“你真以为我不敢吗？嘿，我这暴脾气的！”
“试试！别特么光说不练！”
“我特么说练就练！”
“来啊来啊！”
于是韦见素纵身扑了过去，在吉温的露台上，两人大打出手。好在入籍之时，就现场背诵过“不得在南吴州斗法，违者驱离”之类的八项规矩，这两位虽然是盛怒出手，却谨记着这条规矩，倒也算是相当不易。
斗法是没有的，但相互抱以老拳是必须的，顿时撕扯起来。
吉温一家占了地利之便，属于内线作战，儿子吉祥正当盛年，以二打一，韦见素立时吃了大亏。
但也就是片刻光景，韦倜、韦谔两个半大小子闻讯赶到，跃入吉温家的露台，很快便将战局扳了回来。
对面两栋楼上的各户露台处，不断冒出人影，还有本栋楼的上面几层，都有人探着头往下看，各种鼓掌喝彩之声不绝，热闹非常。
两家头破血流，不分胜负，终于还是被楼上攀爬下来的户部尚书刘晏和广文馆博士郑虔给拉住，在一片“扫兴”、“无趣”的吵嚷声中，两位大臣分别劝止住双方，各自口苦婆心了一番。