意的是，这一次通过的苏联新宪法还明文规定，在苏联最高苏维埃人民委员会中将为国家政治保卫局的主席保留一个固定的席位。这样就以法律的威严确保了国家政治保卫局在执行布尔什维克党和苏维埃国家领导人赋予的特殊使命时不再受到行政与司法程序运作的束缚。
自全俄契卡被撤销之后，从1922年的国家政治保卫局到1923年后的国家政治保卫总局，其最高领导人仍然由捷尔任斯基担任。这位红色秘密警察的创始人一直不折不扣地执行着苏维埃中央执行委员会和苏联共产党（布）中央的一切指示，使国家政治保卫局和国家政治保卫总局成为保证党中央各项政策得以贯彻至每一级基层组织的有效系统，直到1926年他因病逝世。
捷尔任斯基去世后，国家政治保卫总局的领导职务由维亚切斯拉夫·鲁道夫维奇·明仁斯基继任。20年代末期，随着国际斗争形势的复杂变幻和苏联国内政局的发展，国家政治保卫总局的权力范围和其在国家政权机关中的地位又渐渐上升了。这时，在苏联的广大农村开始了轰轰烈烈的合作化、集体化运动，来自民间的不满情绪不断集聚、扩大，以至对这场规模宏大的运动形成了空前的阻力。1929年12月27日，苏联最高苏维埃颁布了一项严厉的法令，要求国家政治保卫总局也投入到保卫在大多数乡村进行着的合作化和集体化运动的工作中去。1930年4月7日的另一项法令，把苏联的边防部队和在各地设立的众多劳改营也都归属国家政治保卫总局的管辖范围之内。同时，国家政治保卫总局还以不同面目参与了对苏联新闻、出版、电影等各种媒体的监督和审查。
“肃反先锋”——剑与盾的功能交替
1934年，国家政治保卫总局主席明仁斯基去世。在这一年的7月10日，根据斯大林起草的苏维埃国家联盟又一项法令，国家政治保卫总局改组维国家安全局（rnrb），并且将这个包括对内进行政治监督、对外进行反间谍渗透和情报侦察的秘密警察组织再次归属于最高苏维埃内务人民委员会的领导之下。曾经担任过明仁斯基副手的根里赫·戈里高里耶维奇·雅戈达被任命维内务人民委员会主席。除了国家政治保卫总局之外，在内务人民委员会之内还设立了另一个专职的总局，用来专门管理边防部队、内卫部队、民警、集中营和劳改营，甚至在国民经济的一些重要部门的企业和交通运输部门中也设置了分支机构，用来负责这些系统的反间谍和安全工作。
12月1日，苏联共产党中央政治局委员、列宁格勒州委书记基洛夫遇刺身亡。斯大林借此开始大肆运用内务人民委员会的秘密警察力量和手段，对所有异己人物和势力进行无所不至的监视和调查，随后，以彻底剪除为目的而大加杀戮。首当其冲被蒙上不白之冤的是布尔什维克的早期革命活动家季诺维也夫和加米涅夫。到1935年1月，苏联内务人民委员会和司法人民委员会以参与谋杀基洛夫的罪名，对季诺维也夫和加米涅夫进行了旷日持久的“精心审判”，并于1936年8月将他们处决。
1936年，雅戈达因为“不能胜任揭露托洛茨基——季诺维也夫反党集团的斗争”而被斯大林免去了内务人民委员会主席的职务，先是改任邮电人民委员，其后不久，他被当作了布哈林的同谋而被指控为反革命杀人犯和外国资产阶级的间谍而被解除了职务，在经过司法人民委员会形式上的公开审判之后，就被他当初的下属枪决了。
在雅戈达之后继任内务人民委员会领导职务的是尼古拉·伊凡诺维奇·叶若夫。后人关于叶若夫的描写都不免带有几分神秘而生动的笔触：这是一个身高只有米、言行不同常人的“冷血侏儒”。
内务人民委员会不仅没有因为其领导层的换马而中止在苏联全国范围之内的大规模清洗，而且，在叶