义龙的不满令原本就在怀疑他是否是自己亲生子的道三愈加反感。当时道三对义龙的评价是“无能”、“器量不足以担任战国大名”，因此道三暗中决定要把家业传给义龙的弟弟，不料此事被义龙的忍者探知，知晓道三不让自己继承家督之位，义龙更肯定相信自己是深芳野与土岐赖艺所生之子（也可能是出于政变目的借口），于是决定先发制人。在国内治理饱受争议的道三想出了隐居暂避的对策，将稻叶山城、美浓守护代的官职和斋藤家家督临时托付给义龙，但是在这之后道三对义龙的嫌恶之情却愈发明显，弟弟孙四郎和喜平次则得到道三的宠爱，作为嫡子的孙四郎（义龙为侧室深芳野所生，是庶出长子）很有可能作为最终的继承人选，加之另一个弟弟喜平次获得幕府名门一色氏之姓，改称“一色右兵卫大辅”。道三尽力为两个弟弟铺设前程而完全忽略义龙存在的举动，使义龙感受到了自己渺茫的未来。直到此时，道三和义龙之间的矛盾终于到了不可挽回的地步。