但是慈禧在接获李鹏万所上的条陈以后，批阅中对其所用之词过于激烈暗生反感。尤其是河南几位朝官多年与朝廷保持的良好关系，是不容李鹏万指责的。他不了解真情，原来慈禧太后每年的寿辰之日，这些河南官吏大多是不惜财力的进贡，在慈禧眼里他奏折上的贪官都是老佛爷的爱臣。这些颇得慈禧爱护的高官，岂能像李鹏万条陈中所说的这样虎狼成性，鱼肉民间？如果这种充满激词怒语的条陈系普通朝官所上，慈禧太后也许会因此而怒责下去，或者因此遭到贬官的严惩。可是，李鹏万毕竟是两年前在紫禁城文华殿内以妙文获得慈禧欣赏的文官菁英，所以慈禧只将此奏折退回了军机处，并没有给李鹏万治任何罪名。不过，李鹏万却因这一条陈毁了自身的前程，从此再不受慈禧的重视，坐上了宫中的冷板凳。此后几年中他虽然还在京畿为官，但很少得到慈禧的召见。直到同治皇帝驾崩，光绪皇帝登基，李鹏万始终郁郁终日，不得重用。李鹏万直到这时才感到官场政坛的险恶，一旦他说了真话，非但不能解决腐败朝政中的弊端，反而还要因此招灾惹祸。光绪初年，李鹏万还希望慈禧再重用自己，却发现自家官邸内外到处都有可疑的监视者。他再看慈禧亲政以来杀人如麻，许多在咸丰时代有功朝政的高官，只因违逆了慈禧的圣意，一个个轻则遭到贬官，重则被绑赴菜市口长街枭首示众。李鹏万深知自己继续在京为官，非但不能对大清朝政和黎民百姓有所贡献，搞得不好，甚至还要厄运加身。于是李鹏万在光绪五年秋天，以生病为名，向慈禧递上一道恳请回归乡梓养老的条陈。慈禧虽然从内心对李鹏万有些忌恨，但毕竟爱其道德文章，接到李的请辞后还曾遣人前往东四的李宅进行挽留，但是对晚清官场早已深恶痛绝的李鹏万，这时退意已决，哪还敢贪恋京华的酒池肉林。于是他于光绪六年（1880）冬天，挂冠而回阔别多年的故里潮州。
就是从这时起，李氏家族离开了生活多年的海阳县，迁往当时的通衢大镇潮州定居。这时的李氏家族更加烟火繁盛，凭借祖上余荫和李鹏万作过京城大吏的影响，李家兄弟在潮州地面仍是功德无量的名门望族。在李鹏万的膝下，前后生有两子，一为长子李起英，次为二子李晓帆。李鹏万在两子之中，尤其喜爱次子李晓帆。
4、祖父李晓帆：潮州知识界的进步人士
李鹏万尽管对大清王朝的腐败极为厌恶灰心，可是，他仍然难改从小形成的功名思想。在当时的历史条件下，他认为如若让子嗣更有造就，惟一的成才之路只有像他一样继续攻读史书，然后参加历年的乡试，最后考取功名。李晓帆当年就是李鹏万视若可以继承其衣钵的后裔。
李鹏万曾经一度寄予厚望于他的长子李起英。李起英从小受到父亲的耳提面命，非常刻苦。李鹏万前往京华为官期间，就把李起英带在身边，希望他也能接受京城的文化氛围，将来为进入官场作准备。然而后来李鹏万发现一入京门深如海，大清朝官在进入晚清时期几乎人人都贪污，个个都贿赂。李鹏万自此方知后悔，原来朝官集聚之地，俨然是一只偌大的可怕染缸。如果再让爱子继续生活在天子的脚下，岂不是要误其一生？当初李鹏万情愿放弃收入颇丰的京官不做，毅然决然地返回粤东老家，这也是一个重要的因素。
好在李起英在北京生活的几年，没有沾染朝廷官员们的任何陋习，始终刻苦攻读，自强不息。他回到广东潮州以后，仍以治学为己任。到了弱冠之年，李起英首次参加乡试大考，便中了一个贡生。本来依李起英的才学人品，继续这样奋斗下去，最终的结局肯定不逊于其父李鹏万，然而由于他身受父亲看破红尘官场的影响，自从中了贡生以后从此就再不肯发奋苦读。尤其是他生了一场重病而造成学业的中辍后，更是影响和限制了李起英后来的仕途精进。这也成了李氏家族的一大憾事