除了这些所谓的学霸之外，朱载坖还有一个要重点打击的对象，就是所谓的山人团体，这些所谓的山人，逼格要比学霸高那么一些，这些山人大多是标榜不入仕的士人或从事某种特定职业的江湖游士，说的好像自己的放浪形骸，不屑于官爵，根本原因不还是他娘的考不上，他们只能沦为权门走狗。
从弘治以来，这种风气是越来越盛了，最开始勋臣贵戚们豢养这些山人，因为他们有钱，也爱附庸风雅，豢养一些山人以供玩乐也不稀奇，但是如宁藩这样的心怀叵测的人，则是利用豢养山人阴图不轨。
还有原南京锦衣卫指挥使徐天赐，就长期豢养着一帮子山人，不过徐天赐豢养的都是些文人，他自己也以东园主人自居，随着山人的流行，大量的无业流民四处流窜，朝廷的官员们也开始豢养起这些所谓的山人来了。
豢养这些山人最出名的就是胡宗宪了，他在当浙直总督的时候，搜罗了一大批的山人为其所用，不过胡宗宪的这帮山人倒是确实很有一些人才，如徐渭、茅坤等，都是一时人杰。
除了这些督抚大员以幕友的名义豢养山人之外，朝廷重臣们也多有豢养山人的行为，甚至连严嵩，也有豢养山人的行为，不过严阁老毕竟是大才子，所豢养的山人也是很有逼格的，他养的是吴扩，这位吴扩是昆山人.以布衣游缙绅间.工诗，嘉靖中避倭乱居金陵，尝遍游南北各省，至老不衰。经常与严嵩诗词唱和，成名后的吴扩晚年在秦淮河畔造长吟阁，接纳“山人”与四方之士，间接帮严嵩扬名。
徐阶一向以礼贤下士而闻名，徐家优势家大业大的，所豢养的山人更是不少，不过徐阶所豢养的山人中，最出名的是沈明臣，他本是胡宗宪的幕友，胡宗宪倒台之后，便到了徐阶的幕中，是大明文坛的巨匠，号称当今三大布衣诗人，而且他还有一个好侄子，叫沈一贯。
其余的李春芳、袁炜等人也多豢养山人，唯二的两个对这些山人深恶痛绝的就是高拱和张居正，高拱和张居正都很反感这些山人，尤其是张居正，他不仅反感山人，更加反感这些所谓的心学门徒，因为自从徐阶、李春芳、赵贞吉等一众心学大佬们官拜大僚之后，心学现在更是成为显学，到处都是谈论心学的人，这些人倒不是真的信奉心学，而是希望通过清谈心学，谋求到一条晋身之阶罢了。
高拱、张居正两人对于这些山人都很不感冒，尤其是张居正，从他担任首辅以来，就一直致力于打击这些山人，现在朱载坖终于有机会收拾这些山人了。
主要是这些山人现在已经触及到了朱载坖的底线，朱载坖不能不收拾这些人了，现在这些山人不仅仅在勋臣贵戚、朝廷大员的家中，甚至连边镇大将们也开始豢养山人了，要说起来，这个头还是俞大猷、戚继光这两人开启的。
这两位都是当世名将，更是儒将，所以他们对于这些所谓的文人墨客一向优容，尤其是俞大猷，他还一向和心学子弟交往密切，一批智谋型山人在俞大猷府中活动，如陈第、颜均等王门学者以及云台山人李杜，在其府中参谋军事。
戚继光则是更甚，因为戚继光儒将风度，除了武将身份之外，同样也是一位诗词高手。戚继光性情豪迈，喜欢结交文人墨客，在《止止堂集》中，收录了他大量的诗歌，据不完全统计，在其《止止堂集》中收录的诗歌中，与官员、山人的诗歌有 70首以上。可见其的友人圈不仅仅在于军事界，大量的生员，山人也是其交友的对象。
很多山人慕名前来投靠，戚继光在外征战之际，闲暇之中，会与身边山人出游，除了探讨军事战略，而且还能触景作诗，互为对唱，使得戚继光的儒将之名更加响亮。
而且在戚继光处混饭吃的山人也很多，山人郑若庸、王寅，周山人周天球、吕时臣等，但是其中和戚继光交往最深，名气最大的，还是玉融山人郭造卿，他是可是罗洪先的学生，罗洪先可是江右王门的创始人之一。
这些山人们大量活动在边镇大将的身边，引起了朱载坖的警惕，想干什么？想当严庄吗？朱载坖又不是唐玄宗，现在也容不得安禄山，所以朱载坖对于这些山人聚集在边镇大将身边是决不能容忍的。
除此之外，这些山人上蹿下跳，制造流言，分裂朝廷，构陷大臣，这也是朱载坖所不能容忍的，从张居正担任首辅以来，一改徐阶、李春芳时代对于山人们的优容，对于他们毫不客气的予以打击，在张居正看来，什么狗屁山人，不过就是些流氓罢了，张居正对于这些山人是毫不客气的。
他多次要求地方督抚清理山人，同时严厉的打击这些山人，在张居正的授意之下，如劳堪、张学颜等人开始严厉的搜捕山人，这些山人也不甘示弱，大量制造流言蜚语，试图让张居正等人下台。
他们所制造的这些流言蜚语，是朱载坖所不能容忍的，他们试图公然在中下级官员中画线，使一些在官场中只能意会的 潜规则”公开化，并在舆论上导引了派系的划分。他们所散播的流言，既是指名道姓的人身攻击，更提出一种价值导向：凡抨击皇帝及内阁、内监者，都是君子；凡维护皇帝及内阁、内监者，都斥为 “犬”、“羊”。换言之，与 “庙堂” 作对者就是君子；为 “庙堂” 辩护者就是小人。
朱载坖很清楚这种流言风气的后果，到时候朝廷和民间就会割裂，朝廷重臣们利用山人去扳倒政敌，党争会愈演愈烈。
他们企图通过制造流言蜚语，裁量人物、议论乃至干预时政的方式，这是朱载坖所绝对不能容忍的，朱载坖绝不受胁迫，更不会受这些山人的蛊惑。