他在安禄山起兵前，就已料定安禄山必反，提前修缮城守，充实府库，征募壮丁。安禄山轻视他是一介书生，没有放到心上。
安禄山起兵后，曾以公文通知颜真卿，让他戍守黄河渡口，颜真卿派平原司兵李平抄近路到长安报告。玄宗曾为河北各郡轻易沦陷而叹惜：“难道二十四郡，就没有一个忠于朝廷的义士！”
等到李平前来，玄宗大喜，高兴的说：“朕从没听说过颜真卿的名字，想不到他如此忠勇！”
洛阳失陷，安禄山派段子光携李憕、卢奕、蒋清首级巡示河北各郡。到达平原时，被颜真卿腰斩处死，厚葬了三位忠臣，公开宣布与安禄山决裂。平原邻近郡县纷纷起事，共同推举颜真卿为盟主。
颜真卿采纳清河郡李萼提议，会集平原、清河（今河北邢台清河县）、博平（山东聊城东北）三郡兵力，在堂邑西南（今山东聊城堂邑镇）与叛军激战一天，大败叛将白嗣恭，斩首万余级，乘胜攻取魏郡（今邯郸魏县一带），赶跑了安禄山所任太守袁知泰，打开了唐军自太行进入河北的另一重要关隘，崞口（今山西长治黎城县东阳光附近）。
为了建立统一战线，抵抗叛军反扑，颜真卿与北海（今山东潍坊境）太守贺兰进明合兵一处，主动把兵权交给贺兰进明，又将堂邑大捷的功劳让给他。贺兰进明用重金召募勇士，攻陷信都郡（今河北衡水冀州境），与西北方向的朔方军形成呼应之势。
河北各地风起云涌，河南郡县也不遑多让。
攻占洛阳后，安禄山任命张通儒的弟弟张通晤为睢阳太守（今河南商丘境），与将领杨朝宗向东攻城掠地。与当初的河北大同小异，被吓坏了的郡县官员望风归降。只有东平太守（今山东泰安东平县境）吴王李只、济南太守李随起兵阻拒。
由于李只出身宗室，那些不肯向叛军低头的郡县均以吴王为旗帜。单父尉（今山东荷泽单县）贾贲率领当地民众向南进击睢阳，斩杀了张通晤。
至德元载（756年）正月，李随进驻睢阳，拥兵数万，玄宗任命他为河南节度使，前高要尉许远为睢阳太守。
濮阳尚衡起兵响应，委派当地豪强王栖曜做前锋，攻陷济阴（今山东荷泽曹县西北），杀死叛将邢超然。
贾贲转战向前，趁雍丘（今河南开封杞县）内部生乱，叛将令狐潮出城之机，进占雍丘。
谯郡太守（今安徽亳州）杨万石归顺于安禄山，逼迫真源令（今河南周口鹿邑县）张巡迎接叛军。张巡走到真源，率吏民在玄元皇帝庙前起兵，向西抵达雍丘与贾贲会合。
令狐潮引来叛军精锐回攻雍丘，贾贲出城迎战，不幸战死。张巡击退叛军，兼领贾贲部众，自称吴王先锋使。
三月份，令狐潮带着叛将李怀仙、杨朝宗、谢元同等四万余人兵临城下。此时的雍丘只有三千多团练，众人惊恐万分，丧失了斗志。
张巡鼓励大家：“敌兵虽然精锐，但存有轻敌想法。我们出其不意发起进攻，一定会打他们个措手不及。”
于是安排千人登城防守，自己亲自统领千余人，将他们分成数队，大开城门向叛军发起连环冲击。张巡身先士卒直冲敌阵，受到惊吓的叛军撤围离去。
次日，叛军沿城放置百余投石机，巨石如雨砸向城墙，把城楼垛口砸了个稀烂。城内军民在张巡指挥下，树起木栅阻拦。
叛军沿着云梯，像蚂蚁一样攀附而上。张巡让人用油脂浸泡过的火把点着投向叛军，火焰升腾，焦臭刺鼻，叛军惨叫着纷纷坠落。
就这样，在后继无援的情况下，张巡带领三千团练，凭借顽强意志，硬是坚守了六十多天。期间，历经大小战斗三百余次。叛军实在消耗不起只得撤军，张巡乘胜追击，生擒两千多胡兵凯旋而还，军心大振！