了平阳县岁额站银八万，接着又奏除了雁门、平定军士拖欠屯垦的田税，并把逃亡的军士召集起来，让他们恢复旧业。他还大张旗鼓地在全省裁减幕府的岁贡及州县的冗费，把余出来的数万银子，拿来建哨所修堡垒，屯粮买马。他自己则布衣蔬食清廉如水，家中事事节省，却把自己的俸禄拿出修路赈灾。晋中大地的士民，齐声赞颂说：“巡抚只饮山西水呀！”
自皇上颁发征税开矿令后，魏允贞便陷入了深深的忧虑中。“内监不得干预朝事，犯者斩！” ，这是开国皇帝朱元璋在宫门三尺高碑上镌刻的碑文。可当今皇上急于敛财，居然连祖宗的箴言都不顾了！那些趋走使役的阉割之人，懂得什么叫礼仪廉耻，什么叫君为船民为水，民可载舟也可覆舟的道理，像这样听凭他们祸害下去，岂不要天下大乱逼民造反 ？他愈想愈觉得后果严重，不久前他曾上疏给皇帝，指陈时政缺失，说税使马堂孙朝系无赖奸人，都是些吮膏血以自肥的人，皇上不轻易赐官，为何赋予他们生杀予夺大权 ？在疏中他还请求皇上召还赵南星邹元标顾宪成沈鲤等贤人，可皇上一律置若罔闻。
一天， 长子魏广微举着一封信，笑嘻嘻走进书房，说：“父亲 ，河北高邑
的赵（南星）叔叔，托人捎信来了。”
魏允贞喜上眉梢，他与赵南星可谓知音，二人都注重气节，刚直凛然。赵在八年前，因主持京察秉公执法，得罪了首辅王锡爵，被皇帝以专权结党的罪名罢官，二人一个在山西省城，一个在河北乡间，虽相隔千里，但书信往来不断。魏允贞拆开书信，看到第一页上满是用揶揄的口吻，描述了南星家乡税棍横行的情形。侪鹤先生家附近有座著名的赵州桥，桥上也是税卡林立，害的途经的轿夫直想跳河，轿夫们编了个顺口溜：“朝为轿夫，日中扛夫，暮为灯夫，又为纤夫” ，喊出了他们饱受盘剥每况愈下的苦楚，魏允贞看到这里，忍不住摇了摇头。
翻过页，在第二张信纸上写有侪鹤新填的套曲《新水令》，题目是《得魏中丞书》。允贞记得不久前，自己曾给侪鹤写过信，向他诉说了矿税祸乱山西及自己的处境，果然侪鹤在《步步娇》一曲中写到：“……一统圣王朝，狼虎纵横，张牙舞爪”再往下看，是一曲《前腔》，曲中写到“虎威非是假，龙性最难调。降的个都爷粉哥碎，量那些黎民何处逃 ？”魏允贞读到这里，心情又变得沉重起来。
魏允贞独坐书桌前，回想起近年来税使孙朝矿监张忠###本省官员的案例，不由得怒气满胸。先是太平县典史武三杰，因矿监张忠途经本县时，失于迎接又照顾欠周，竟被张忠活活杖死；继之有建雄县丞李逢春，因税使孙朝前来索钱未能如数交上，竟遭孙朝爪牙凌辱以至于毙命；最可恨得是，孙朝为了讨皇上的欢心，居然狮子大开口，勒求三晋大地，上缴税银百万，为此孙变本加厉，在全省多次增税，税名五花八门，令百姓叫苦不迭。魏允贞心知上疏告状，皇上会置之不理，索性领着本省官员，公开抵制起税差的横征暴敛，此举让孙朝十分恼火，他上疏告开了魏允贞的刁状，允贞知道后上疏反击，历数孙朝的种种罪行，并表述了自己的一片报国忠心，他在疏中写道“（自己）为皇上保安宗社之心，超过为自家；维系天下之心，超过为自身”写完竟泪流满面。
皇上读了魏的奏疏，无动于衷，大臣们却纷纷感到不平，为什么孙朝的劾疏可以下发部院讨论，而魏允贞的辨疏却被皇上留中不发 ？ 先是吏部右侍郎冯琦，站出来为允贞辨诬，接着吏部尚书李戴、都御史温纯也都极称允贞之贤，他们一致提出也应把魏允贞的奏疏下发，供大臣们从公评议，而皇上不同意。此时山西军民闻讯后，一批又一批赶到京城。为魏大人诉冤，皇上担心事情闹大，只好对孙、魏双方都不再追究。
魏允贞目睹了皇上前后的嘴