国初刘诚意先生为御史大夫，即今南都察院右都御史。余掌南台，所居邸第在太平冈下，规制壮丽严整，传为先生所建。院在太平门外，惟操江，佥院间来同堂，四五御史，雍容礼貌，体统森严，殊无事事。时值两京计吏，与南冢宰王公本固并持衡鉴，品骘去留，悉协公议，后南中黜陟称明。余先自陈，奉旨：“览卿奏，不允辞。宜益用心供职。”盖南九卿称卿为异数，而余感上恩，因更号益斋云。
癸酉秋，冢宰杨襄毅公溥以病免。上命内侍传命云：“吏部是要紧官，宜慎重选择。”时辅臣推上凡三人：首台长葛，次司空朱，余列于后。辅臣不票拟，持疏俟经筵毕，面请点用。上越前二人，批云：“张某改吏部尚书，着上紧前来供职。”余闻命，疏辞。奉旨：“卿公清端亮，闻望素隆，铨衡重任，特兹简任，不允辞。”乃趋朝面恩。
抵任时，值三载考绩。诸省藩、臬、郡、邑，鳞集阙下。余会台长葛公守礼，大计群吏，黜陟幽明。复首陈入觐事宜，申举旷典，奉旨俞允。乃举卓异谢鹏举等二十五人，引见于会极门。上亲发玉音宣谕：“尔等都是好官，回去传谕各官，为朕爱养百姓。”赐宴午门，仍锡金帛。贪残贾某等一十八人，悉下诏狱。大小臣工，一时鼓舞。实肃清朝政之一大机也。
初，余之召入秉铨也，思古太宰之职，在知人安民，而惠安民生，莫先综核吏治。至是，每当大选，必录选人姓名，开具上注御屏，迁辄更注；欲上时时经览，以注意人才。又议酌选规，行久任，崇实政，遴真才，稽章奏，重责成，严考绩，慎拾遗，俱得奉旨施行。而余所措置，独崇大体，略苛求，务周咨，绌浮议；才不以瑕掩，人不以资弃；实胜于名者，虽下僚必扬，名浮于实者，虽崇秩必抑；使人人争得自效。则余一念爱惜人才之实心，不敢负国恩，尸禄位者也。
国朝岁供军储四百万，大抵取给江南。漕舟道出江、湖，溯淮、河入汶，济以北，潴畜众水，设闸启闭。逾卫遵潞，直达京师。二百年来，但葺堤、补决、浚壅、泄溢，使故道无滞而已。近岁故道不可专恃，宜循元海运旧踪，以备不虞。喜功者辄一试之，失不偿得，则又议开胶河，谓功可立就。又一试之，未有百一之效，而费已巨万矣，齐民汹汹怨嗟。时在事者陈其状，下公卿议。司空郭公朝宾曰：“上意大概主行，诸君之意若何？”余曰：“闻之：海边有山难凿，出口淖泥难挖。今功未百一，而耗费不赀，民心如此，万一力竭财尽，竟无成功，谁任其咎？窃谓停止便。”公卿相顾无一言，乃各书宜止二字。事闻，亦洞察大功难成，遂如众议。其事得寝。
甲戌春，奉命入阅进士廷试卷。时江陵柄国，以有子在列，避不阅卷。亚相张蒲州拟定序次：首江西宋宗尧，次浙江陆可教，次宁国沈懋学，为一甲；次湖广张嗣修，为二甲首。嗣修，江陵仲子也。暨上御中极殿，九卿以次读卷，时方以陆卷上彻宸聪，而江陵潜通大珰，遽传命免读。乃取沈、张，未读卷寘宋、陆上，送御几前。于是首沈次、张，而宋、陆抑置二甲。时缙绅咸为不平，而江陵犹向余曰：“蒲州吾所引用，何吝于一甲，不以畀吾子耶？”
国初自罢宰相，事权归六部。后文皇取翰林学士等官入阁，以备顾问。至洪宣间，凡军国重务，人才举措，悉以咨之，其权始重，遂晋崇秩。嘉、隆以来，专以翰林入阁。自一甲外，复有庶吉士之选，典最宏巨。甲戌之选，由铨部封识以往，余亦阅卷东阁，以江右、闽中卷属余。时江陵私属江右朱某，余曰：“卷皆封识，何自知之？”江陵曰：“司封识者，非汝选耶？”余俯而不答，以司属不宜私授。徐就阁检阅，手一卷，对语未工，方惜其才。少宰陈，江右人也，向余曰：“此朱某卷。”余遂以应江陵之请。竟置不录。始知向之所属，恐其见售耳，余切不知所谓也。后所取二省士，余皆不记其名。罢归日，有造吾庐而自道及者，余已忘之矣。
江陵闻丧之越日，传谕令吏部往谕皇上眷留意。江陵亦自为牍咨部，云：“某日闻讣，请查照行。”盖讽使留己也。司官持咨，请余议覆。余谓宜咨礼部，查节年阁臣丁忧恩典，从重优恤；若不喻其意。乃遂大拂江陵心，嗾台省数人相继弹劾，奉旨致仕。余趋朝，北面稽首。出过江陵言别，语之曰：“顷某滥竽重仕，幸佐下风。见公闻讣哽咽，涕泗交横，谓公且不能旦夕留。区区之心，诚欲自效于公，以成公志，讵谓相矛盾哉？兹与公别，山林政府，不复通矣。”语竟，张汗颜颡泚，噤不能声。有顷，曰：“公去，而心愈苦，事愈难矣。”余遂拂衣而归，诸公卿咸祖道都门外。时太常卿孙公飦向余曰：“去国一身轻似叶，高名千古重如山。愿以两言为公今日赠。”