鲁定公十年（公元前500年）秋天发生的侯犯在郈邑的叛乱，引起了鲁国朝野的不安。如果侯犯叛乱得逞，很可能成为鲁国的第二个阳虎，因此叔孙武叔才说“郈非叔孙氏之忧，社稷之患也”。
季桓子更是忧虑不已，作为季氏采邑首府的费邑，也在阳虎党羽公山不狃和叔孙辄的控制之下。季桓子恨死阳虎了，家宰盘踞在家族采邑之中对抗家主，阳虎成了侯犯、公山不狃他们的榜样了！季桓子请来大司寇孔子，向他请教对策。
孔子看到家臣、邑宰接连发生叛乱，极大地扰乱了鲁国的安定和政局。他对季桓子说：“依周礼，城邑的长度不应超过百雉（三百丈），家族之中不应私藏甲胄兵器。现在鲁国出现了家臣控制了国家政权的情况，就是因为他们依靠采邑坚固的城墙和私藏的甲胄兵器。季氏采邑费、叔孙氏采邑郈、孟孙氏采邑郕（成邑）这三座城池不仅超过了周礼规定的长度，而且城墙还都屡次加固，又高又险，应当予以拆除。”孔子的这一举措，称为“堕三都”，也叫“隳（huī）三都”。
季桓子听了觉得非常有道理，夫子的智慧就是不一样啊！三桓都住在都城曲阜，自己的采邑交由邑宰打理，他们盘踞在坚固的采邑城池之内，还拥有军队和甲胄兵器，采邑中还储存了大量的粮食，因此家宰、邑宰们有恃无恐，公然对抗家主、对抗鲁国，该对他们釜底抽薪了，可以先禀告国君，拆毁费、郈、郕三个采邑的城墙再说。季桓子将孔子的“堕三都”之策告知叔孙武叔和孟懿子后，二人都表示赞同。叔孙武叔刚经历了郈邑侯犯的叛乱，自然不会反对；孟懿子听说是自己的老师孔子的主张，更不反对了。
孔子和三桓将“堕三都”的计划禀告给了鲁定公，定公听后心里乐开了花！任用孔夫子为大司寇、代理鲁国执政真是太明智了！拆毁三桓采邑的城墙，对于加强国君和公室的权力有百利而无一害，表面上这样做是为了防止家臣、邑宰发动叛乱、对抗三桓家主，但实质上这是在削弱三桓的力量。鲁定公当场允准，“堕三都”计划立即实施。
然而，鲁定公看出来了，这位与自己同龄的孔夫子真是有些书生气了。“堕三都”，只是拆毁城墙而已，真正让三桓有力量压制君权和公室的，是土田和军队！不夺回三桓瓜分的公室土田和军队、由国君和公室直接统管，是不可能从根本上改变公室衰微的现状的。当然，指望刚刚担任大司寇的孔夫子在朝夕之间就彻底改变鲁国田制和军制，也是不现实的，从“堕三都”开始做起，未尝不可。
鲁定公十二年（公元前498年）夏季，“堕三都”计划开始实施，叔孙氏的郈邑首先拆除了城墙。不久前郈邑发生了侯犯叛乱，叔孙武叔仍心有余悸，生怕家臣邑宰再次在郈邑闹事。在邑宰驷赤的发动下，拆除郈邑高大坚固的城墙，还得到了郈邑民众的广泛支持，故此“堕郈”计划进行的很顺利。
孔子的学生仲由（子路）担任季氏的家宰，他和季桓子筹划如何拿下公孙不狃和叔孙辄盘踞的费邑，落实“堕费”的计划。然而，郈邑城墙被拆除，已经打草惊蛇了。说起公山不狃（也叫公山弗扰，字子泄），季桓子真后悔当初自己刚继任家主时让公山不狃担任费邑的邑宰，没想到这个公山不狃反而与阳虎狼狈为奸，意图谋害自己。阳虎叛乱失败逃亡了，可这个公山不狃和同党叔孙辄却据守费邑对抗季氏，因此季桓子准备和家宰子路一起，率军前往费邑，拆除费邑高大的城墙，也是借此机会夺回费邑，赶走公山不狃和叔孙辄。
公山不狃预感到自己的末日不远了，如果不想办法应对，费邑城防将像郈邑那样毁于一旦，自己也将无路可走。他与叔孙辄商议，与其坐以待毙，不如以攻为守，出其不意、攻其不备。当子路率领季氏军队赶到费邑时，公山不狃和叔孙辄却率领费邑的兵马杀奔都城曲阜而来。面对这一突然袭击，鲁定公和三桓、包括孔子都毫无准备，孔子带人护送定公、季桓子、叔孙武叔、孟懿子躲进季氏家中，登上了季氏府中数丈高的季武子台。公山不狃率兵攻入了季氏府邸，团团围住季武子台，并不停地向台上射箭。这已经是彻头彻尾的叛乱了，孔子命鲁大夫申句须、乐颀带领国君侍卫冲下高台，与费邑叛军厮杀；与此同时，公室的军队也从外面包围了季府，冲入府内，费邑叛军腹背受敌，阵脚大乱，被公室军队打败。忠于国君的军队一直追击公山不狃所率的费邑叛军，在姑蔑彻底击溃了叛军。公山不狃、叔孙辄逃奔了齐国，季桓子重新控制了费邑，命子路拆除了费邑又厚又高的城墙。
郈、费两都被堕毁之后，三都只剩下孟孙氏的成邑还没有拆除城墙。孟懿子对老师孔子提出的“堕三都”的主张虽然没有公开反对，但从一开始就不象季氏和叔孙氏那么积极，因为成邑并没有发生叛乱，邑宰公敛处父对孟氏家族忠心耿耿，孟懿子难以下定决心，成邑地处鲁国北部，为了防范齐国的进攻，城墙经过多次加固，他实在找不到一定要拆除的理由。郈邑、费邑拆除了城墙，缓解了家主与邑宰之间的矛盾，但是叔孙氏、季氏两大家族也受到了损失呀。然而，季氏、叔孙氏两家都已堕费、堕郈，如果孟氏不跟着“堕成”，又如何向季桓子、叔孙武叔交待？更如何向大司寇、代理执政、自己亲聆教诲的老师孔夫子交待呢？
看到家主左右为难，成邑宰公敛处父向孟懿子献策道：“家主，如果毁掉成邑，齐国必将兵临城下。成邑凝聚着孟氏家族好几代人的心血，是孟氏的保障。没有成邑，也就没有孟氏了。家主您就假装什么都不知道，臣定保成邑周全。”
孟懿子听后，默许了公敛处父的计策。他在“堕成”的问题上采取了阳奉阴违的策略，表面上他不反对，却暗中支持公敛处父整军备战，抵制“堕成”。季桓子和叔孙武叔在费、郈两邑被堕之后，也醒悟到“堕三都”对三桓是不利的，因此他们既不与孟氏攀比，也不参与堕成的行动。尽管三桓之间也有矛盾，但在与公室和其他世卿大族的争夺中，三桓的利益是一致的。因此，季氏和叔孙氏也默许了孟氏对堕成计划的敷衍。在这种情况下，孔子奏请鲁定公，在十二月份，由国君亲自率领军队前往成邑，去实施堕成的计划。由于成邑地处鲁、齐边境附近，在率军前往成邑之前，为了避免齐国人误会，鲁定公还专门在十月二十七日来到齐国的黄邑与齐景公举行了会盟，正式叛晋，并向齐景公通报了“堕成”的计划，齐国自然对鲁国的“堕三都”乐观其成，并没有表示反对。然而，成邑宰公敛处父率领成邑的军队顽强据守，鲁定公率领的公室军队无法攻克拥有坚固城墙的成邑。
孔子无论如何也没有想到，自己提出的“堕三都”这一重大改革举措，竟然因为自己的学生从中作梗而宣告了失败。“堕三都”如果能够成功施行，对改变鲁国公室衰微、三桓专权、陪臣横行的局面将发挥重大作用，然而，它终究是失败了，这也标志着孔子在鲁国政治改革的失败，标志着三桓与孔子的决裂，也让他在鲁国朝中的政治地位岌岌可危。鲁定公即使再想扶持他，也由于三桓与孔子的决裂而失去了话语权。
季桓子和孟懿子二人不便直接与孔子撕破脸，他们让叔孙州仇（叔孙武叔）在朝廷大殿之上公开质疑孔子的治国策略，树起了反对孔子的大旗。
齐国大夫犁弥（王猛），在夹谷之会上为齐景公出谋划策，想劫持鲁定公、逼迫鲁国就范，结果由于孔子反应机敏、应对有度，有理有节，反使齐国陷于被动，他从此对孔子耿耿于怀，一直在寻找机会报复。他在齐国挑选出八十名能歌善舞的美女，外加一百二十匹骏马，全部披上色彩美丽的锦缎，派人送往鲁国献给鲁定公和季桓子。这样既可以使贪财好色的鲁定公和季桓子荒于政事，又可以进一步离间孔子与鲁定公、季桓子的关系。鲁定公和季桓子果然中计，整日观看齐国美人献舞，怠于政事。孔子的学生子路看到这种情况，已经对鲁国失去了希望，他劝老师还是离开鲁国吧，但是孔子还没有死心，他对子路说：“鲁国现在要举行郊祭了，如果能将郊祀祭肉分送给各位大夫的话，我还可以留下。”季桓子沉迷于齐国女乐，连着三日都不上朝；举行郊祀典礼之后，又不向大夫们分发祭肉。孔子彻底失望了，决定离开鲁国，到其它国家去寻找出路。
鲁定公十三年（公元前497年）春，在鲁国从政三年之后，五十四岁的孔子带着他的部分学生，满怀凄楚悲愤之情，又一次离开了他的父母之邦，开始了长达十四年的颠沛流离的生涯。鲁国的乐官师己听说孔子要离开鲁国了，急忙赶到曲阜南郊的屯邑为孔子送行，师己安慰孔子说：“夫子没有什么罪过啊！”孔子默不作声，过了一会儿，他对师己说：“我唱首歌吧。”，说完唱了起来：
彼妇之口，可以出走。彼妇之谒，可以死败。盖优哉游哉，维以卒岁！
（那妇人的口啊，可以让人出走。那妇人的话啊，可以叫人身死名败。悠闲自在啊，聊以消磨时光！）
师己回到曲阜后，季桓子问他：“孔子都说什么了？”师己把孔子临别时唱的那首歌向季桓子复述了一遍，季桓子喟然长叹道：“夫子是因为女乐的缘故怪罪我啊！”鲁定公得知了孔子带领众弟子出走的消息后，在燕寝的书房中仰天长叹，他知道，孔夫子为强公室、弱三桓的努力带来了希望，但是三桓的势力过于顽固，自己最信任、最得力的帮手孔夫子对鲁国的政治已经彻底失望了，季氏、孟氏、叔孙氏这三座大山，自己的有生之年已经难以撼动了。