对此反应最激烈的是腓特烈二世的私生子曼弗雷德，此前他一直自认为是父亲最疼爱的孩子，但异母兄弟的到来改变了他的境遇，他描述凯撒是一个“只知道骑马、打猎和傻笑的蠢货”，父亲则是一个“跟着儿子一起傻笑的老头”，而这一矛盾被他的长兄察觉并利用，1248年，他发动了叛乱，而他的私生子弟弟们有五个都同他一起反抗父亲。
这场叛乱很容易令人想起多年前金雀花家族的“无爱之战”，而结果也如出一辙，腓特烈二世以雷霆之势平定了叛乱，但他并没有立刻宽恕自己的儿子们。他认为长子的忤逆有妻子的指使，他因此来到西西里，埃莉诺王后对此供认不讳，“我做出了和我曾祖母一样的选择，你也可以做出和我曾祖父一样的”。
腓特烈二世并没有沿用亨利二世的策略，他宽恕了妻子，却囚禁了他的儿子们，他开始筹谋让他疼爱的幼子继承皇位，但由于他在1250年去世，他的意图最终没有达成。遗嘱中，他将自己在德意志的领地留给了长子亨利，将西西里王国留给了次子凯撒，但当凯撒哀悼完父亲，打算加冕为西西里国王时，他却得知他的母亲和兄长已经将他的异父兄长威廉·欧特维尔扶持为西西里国王。
尽管没有血缘关系，但亨利八世和威廉二世从小一起长大，感情异常深厚，幼时被外祖父监护、少年时又深受父亲宠爱的凯撒第一次意识到世界的残酷，他来到西西里的宫廷，充满愤怒地质问母亲：“我渴望你的爱。”他控诉道，“我给你写信，给你送礼物，在父亲面前为你求情，可你爱你没有血缘关系的儿子都超过爱我！”
“如果我选择爱你，那谁来爱我死去的第一个丈夫呢？”他的母亲回答，“你是为了东方的罗马帝国的稳定才诞生的，如果你的表兄夭折，或者你外祖父过早去世，你可以做奥古斯都，但事实是你的外祖父活得足够久，西蒙也活得足够久，既然不需要你继承东方的皇冠，那你将一无所有。”她始终拒绝和次子见面。
二十岁的凯撒·霍亨斯陶芬蓦然发现自己举目无亲，在欧洲也没有容身之处，疼爱他的父亲已经去世，他的母亲漠视他，兄弟们嫉恨他，而表兄西蒙一世虽然和他无仇无怨，却也不愿意让他回到君士坦丁堡挑战他的权威，最后还是他的舅舅阿基坦公爵腓力·塞萨罗亚收留了他，虽然腓力的目的是为了借助他的血统宣称曾由他曾祖母统治的勃艮第地区，但凯撒对此感激涕零，他热情地向舅舅表达自己的爱，将他视为自己的第二个父亲，腓力·塞萨罗亚对此不算受用，在和腓力三世的谈话中，他形容凯撒的爱让他觉得不适以至于惊悚，“毕竟他和我的父亲和哥哥太像了”。