讲官们对于寺院的不断扩张也是极为反感，但是东南地区佛教势力很大，讲官们建议朱载坖慎重处理。
确实，东南佛教昌盛，若是没有一个正当理由的话，恐怕很难动这些寺院和秃驴。
朱载坖问道：“陆绎，可有什么好的理由？”
陆绎想了想说道：“殿下，何不以通倭为由？”
朱载坖明白陆绎说的意思，东南沿海倭乱兴起，朝廷实行海禁，但是这些和尚僧人私创寺院，收揽民众，在倭患严重时作为贼寇侵略本地的助手。这事已经是被地方州县证实了的，倒不是锦衣卫胡乱攀咬。
朱载坖说道：“就以此为由，整顿寺院！”
朱载坖将海瑞、赵贞吉、唐顺之叫来，告知自己的想法，同时希望赵贞吉以南直隶巡按的身份主持此事。
朱载坖说道：“僧侣勾结倭奴入寇，滋蔓既久，遂成大乱，若不早图，恐生大乱也！”
对于朱载坖的看法，赵贞吉等人倒是并不反对，江南佛教兴盛，确实已经到了影响大明朝廷的地步。
而且嘉靖本人对佛教就极为反感，嘉靖继位之初，显示出强烈地排佛意向与决心，首先就规定了寺田起科，僧道同服徭役。针对原先僧尼可以免除徭役，嘉靖作出改变，度牒僧人有田粮者编入黄册，同里甲供应赋役。无粮者编入带管畸零。不再享受免役特权。
同时将私度的僧人尽皆还俗，嘉靖下诏：僧徒愿自还俗者，听其自由安便。各处寺院任其颓坏，不许修葺。民间幼童不许舍身为僧，私自披剃。凡中外一切游聚尼僧，俱勒令还俗婚配，罢毁所居浮屠庵院，违者重惩，如令诏可。
不过嘉靖的这些诏书只在京师附近有用，在南方没什么效果，不过朱载坖这次准备在东南把嘉靖的诏令推广下去，免得这帮和尚搞事情。
唐顺之说道：“殿下，江南地区自古以来有尚鬼神崇佛的习俗。此风俗早已融入江南民众的日常生活，在他们的观念里根深蒂固，无法磨灭。”
朱载坖当然知道这节，如果不是这样的话，佛教也不可能再江南发展起来。
不过唐顺之的另一个观点倒是引起了朱载坖的兴趣。唐顺之认为佛教在东南的冗滥，和沉重的徭役有密不可分的关系。
对农民来说，徭役负担来自里甲正役和杂役。负担里甲正役的是耕种官田农户，并且那些没有田地完全靠耕种官田的人户也被纳入里甲组织，必须承担里甲正役。拥有民田，又从事官田经营的人户也必须担当里甲正役。
除了承担正役外，还需承担杂泛差役。 杂泛差役以丁分，依据人丁多寡、产业厚薄分上中下三等。有田地的丁承担正杂二役，有丁无田承担杂泛差役。
这个徭役的范围非常之广泛，粮长、解户、马船头、馆夫、祗候、弓兵、皂隶、门禁、厨斗为常役。 后又有斫薪、抬柴、修河等差役，百姓往往被徭役折磨的无法生存。
而拥有度牒，或者遁入空门，就可以逃避徭役，不少百姓正是在这种情况下进入寺庙的，唐顺之认为，如果不改变这个情况，恐怕即便是朱载坖动用雷霆手段，恐怕也是治标不治本。
唐顺之的这个担心，确实很有道理，繁杂沉重的赋役确实会逼迫百姓遁入空门。
但是并非没有办法，而且这个办法已经在大明有了雏形，就是均徭。但是上一次的尝试以失败告终，嘉靖十六年，在内阁辅臣顾鼎臣力主下，应天巡抚欧阳铎主持、苏州知府王仪、常州知府应槚与松江知府黄润等人具体实施的征一法改革。
所谓征一法，就是以县为单位，将一县之地的赋税徭役折算成银两，再精确计算出每丁、每田该出数目，当时规定的是每丁征银一分，亩土地征银七厘七毫，这样百姓就可以不用亲自服徭役，而由官府雇人从事各种劳役。
征一法唐顺之是亲身参与了的，唐顺之和时任苏州知府王仪通信时，就指出了征一法最大的问题，就是士绅们任然可以钻空子逃避徭役，而百姓反而要年年缴纳均徭银，这对于百姓来说，是极为不公平的。
继任的南直隶巡抚夏邦谟也认为：之前的均徭法，将百姓以里甲为单位，分为十组，轮流服役，这样的话，百姓还可以修养九年，十年之中只用服徭役一年，而现在的征一法，百姓每年都要缴纳银两，反而增加的百姓的负担。
同时，征一法的实施的过程中，暴露出极大的问题，百姓在缴纳银子的时候，不可避免的要和小吏们打交道，而这些小吏们利用手中的权力，疯狂加征火耗，使得百姓的负担更加严重。
同时，征一法要求地方官员统计税赋徭役，计算徭役所需的银两，再将其摊派到每亩土地和人丁上。这些两榜进士们根本没这个能力办这件事，只能委托给衙门小吏办理，而衙门小吏本就和地方豪强关系极深，借此机会逃避税赋，加重普通百姓的负担。
所以当年的唐顺之是坚决反对征一法，而征一均徭实施到现在，弊端就更加多了。这两年朝廷为了抵御倭寇，大举募兵，所费银两以十万计，这些银子从哪里来的？大部分都是挪借的地方的均徭银，甚至是预征数年之后的均徭银，银子已经被用了，但是地方州县还有很多事务未曾办理。
到时候州县官吏怎么办？州县官吏也变不出银子了，只能伸手再找百姓要，自嘉靖十六年实行征一法以来，朝廷在每丁、每亩土地上征收的均徭银已经增加了不少，说是爱民，实际上就是敛财。
百姓的负担比之原来更重，在力役亲充的时期，民众为避免官府的盘剥，一般也可以私自雇募揽纳户替其充役。而现在朝廷只要钱，关键是银子征了之后，事情却还没办，到时候免不了继续向百姓伸手。