大难不死的海瑞，出狱之后在徐阶等一些文臣的推举下，改任为兵部武司主事。隆庆元年（1567年）初，擢尚书宝司（替皇帝保管玉玺的要职），稍后又调任大理寺寺丞（负责管理大案要案或平反冤狱的主要负责人）。
海瑞在任大理寺寺丞期间，接手了一件弹劾案，御史齐康弹劾内阁首辅、大学士徐阶，开列罪过如下：
其一，徐阶为讨好嘉靖皇帝，一味逢迎了嘉靖皇帝错误的行为，特别是皇上追求长生不死而作斋醮的时候，同奸臣严嵩一起写青词，阿谀谄媚，助长了歪风邪气。
其二，身为内阁首辅，主持朝廷政务，没有起到扶持朝政、发展生产、安民抚贫的作用，反而迁就皇上大兴土木，建造庙宇、神坛，劳民伤财，财政浪费受损过大。
其三，徐阶有两个儿子，依仗权势，在乡里横行霸道，抢夺民田，这都与徐阶的纵容有关。
海瑞认为：“徐阶事奉先帝，没能阻止先帝迷信神仙、大兴土木，畏惧退缩而保全官位，的确也是有的。然而自他主政以来，为国事忧虑而勤劳，气量大能够宽容人。而齐康作为御史却当鹰犬，攻击陷害好人，其罪又超过了高拱。”
高拱，官居吏部尚书，文渊阁大学士衔，兼太子太傅（太子的老师）。嘉靖皇帝病重卧床时，他没尽守候之责；也没有劝阻皇帝寻道求仙的错误之举。隆庆元年，徐阶、高拱、郭朴三人组成内阁，徐阶为内阁首辅。不久，因政见不一，高拱、郭朴两人联合，指使他人上疏弹劾徐阶。
公允地讲，海瑞对徐阶的评价是客观、公正的。论年龄，徐阶比海瑞大一旬；论资历，徐阶官居首辅，进士出身，大学士，是明代改革家张居正的恩师；论恩情，徐阶不仅是海瑞的救命恩人，而且是保举海瑞升官的带头人。可是，海瑞却出于公心，不徇私情，对徐阶的是非功过进行了令人折服的分析。
御史齐康的上疏，确实与高拱等人的唆使有关。不明真象的明穆宗阅后，难作决断。后经查实，徐阶的两个儿子抢夺民田等横行确有其事，不过已隔数年，况且徐阶也曾对两个儿子进行了训斥。后来，经大理寺、吏部的查证，御史齐康的上疏乃是为高拱攻击徐阶而张目，御史齐康遂被贬官。
从隆庆元年（1567年）的冬季到隆庆三年（1569年）的夏天之间，海瑞历官两京通政使司左、右通政。遂后，又升任都察院右佥都御史，总理粮储提督军务，兼巡抚应天等十府，治所在苏州。
海瑞的威望震撼朝野，每当他到某一省城或某一州、府、巡视的消息传出来，当地的贪官污吏、骄奢淫逸之徒都十分害怕。有的自知难逃其咎，便主动提出辞职弃官而去；有的奔往远方的亲友处暂避风险；有的收敛往日作威作福的官架子；有权势的大户人家的大门本来是赤红色的，现在听说海瑞要来了，赶紧把赤红色的大门漆成黑色；有一个监督江南织造的宦官，立即减少了抬轿和侍从的人役，即把出入乘八抬大轿改成四个肩舆。
海瑞在江苏实地考察，发现往日物产丰盈的鱼米之乡，如今却鱼不多、米粮不足，历史名城苏州也没有新气象。这一年又发生了水灾，滔滔的洪水把苏、松、常、杭、嘉、湖六府沿太湖的田地冲毁，冲塌了许多房屋和少数的桥梁，百姓流离失所，苦不堪言。
海瑞面对如此艰难困境，锐意兴革，重整田地，建设家园，上疏朝廷请求立即浚通吴淞江和白茆河的河、江出入口，引水流入海，旱涝有备，让百姓受益，让朝廷安心。
治理水患与救灾抚贫必须结合起来。海瑞赶赴苏州时，由于大水肆虐，不少河道几乎被洪水漫到桥面上，他乘坐的官船到了关帝庙已无法前进。海瑞下船改乘便轿，傍晚才进到苏州城里。海瑞吩咐早已等候接他的文武官员赶快回到各自府县去，救灾抚民，并严令今后不许摆队迎来送往。
海瑞早在京城时就耳闻龙宗武、张顶棣有治洪理水的才干，便请他俩来商议治水防涝的规划。
龙宗武是苏州府推官，张顶棣是上海县知县。他俩在此次洪水泛滥之前，多次向上司提出建议，无奈各级官员均不理睬，因此心中郁闷，才干也无处施展。现在看到海瑞是忧国爱民的大清官，果然名不虚传，内心无限喜悦，便把多年的愿望、治水的方案都说给海瑞听。海瑞听后兴奋地表示，“一定要根治水患，既要有信心，又要有良策。你们俩位人熟地悉，治水防涝方案成竹在胸，看来此次治理水患必能成功”。海瑞向他俩推荐《三吴水利录》一书（水利专家归有先著），借鉴三吴治水的经验，首要清理和疏通太湖入海河道。最后，商量确定动员人力、物力、财力，全面开通苏州河。
疏通河道，抗灾救民，都离不开财政支付与经费来源。海瑞提出“统筹集结”的方略，即中央朝廷拨款、地方筹资、节省额外开销、以工贷赈等办法。其中节省额外开销，指的是裁减来来往往各级官员的供应与宴请招待（含赠金送银或地方土特产）等方面的费用。
海瑞心知肚明，上述举措必然损伤官僚的切身利益，但他认为：“今日今事，必以民生为先，只要百姓衣、食、住安生得过，其他的都顾不了。”
海瑞的建议很快得到了朝廷的恩准，认为海瑞治水疏通河道之举切实可行。为解民生之涂炭，皇上恩准下臣的奏章，赐海瑞所辖十府等地，治河水利即可速行。
圣旨下达各州府，疏浚工程立即动工。海瑞废寝忘食，日夜亲赴现场，或查验土、石、木料数量与质量，或奖赏开工通河勤勉有功人员，或惩戒贪污腐败之人，工程进展有序，仅用了两个月的时间，历来难以疏通的，苏州河通畅了，淤积的泥沙被清除，多月的积水倾泻出去了，被洪水淹没的田地裸露出来，补种的菜蔬和五谷杂粮的种子补种齐全了。苏州河，多年的泛滥之河，如今就要变成希望之河了。
继疏通苏州河之后，白峁河的疏理通顺工程也提前竣工，在近期内基本解除水患之难。事实胜于雄辩，海瑞治水有方有目共睹，就连反对他的官员们也不得不承认：“敢骂皇上的人就是有能耐，连年水灾到底在他的统筹下解决了，万世之功非他莫属了。”
治理水灾以疏通河道，灾民住有居所，补种庄稼成功，生活秩序稳定，这都是战胜自然灾害的重要标志。
海瑞就任应天巡抚，解决水灾问题后，接踵而来的就是清理诉讼案件。海瑞历来憎恶地主、富豪、高官人家兼并贫苦农民的土地田产，所以他尽心尽力地摧毁豪强、恶霸的势力，体恤贫弱民众。
有一道难题摆在海瑞眼前，那就是徐家侵夺田产案件怎么处理。徐家，指的是明朝元老、内阁首辅徐阶。原来，海瑞在审理公案的时候，发现他管辖的苏州、松江府范围内，有不少控告信揭发检举徐家违背法纪，侵夺良田至今未归，影响很坏。
例如，苏州护龙街古玩铺商人陆曾状告徐家仗势欺诈，购买国画不付银两。徐家的家人到陆曾的古玩铺看中了一幅宋代山水画，不付银两不说，还谎称山水画是赝品，并买通吴县县衙，将陆曾痛打四十大板，最终将山水画据为己有。
第二宗案子是太湖东洞庭山农民王六保等多人，状告徐阶的三儿子徐琮骑着高头大马飞奔乡里，践踏茶树树苗数百棵，并把茶树主人王朱氏撞成重伤。王朱氏把徐琮告到县衙，徐琮听说之后不仅不赔偿损失，反而唆使家丁威胁王朱氏，使王朱氏伤势加重。
第三宗案子是华亭县的贫苦农民联名状告徐阶的弟弟徐陟以及二公子、三公子强占、掠夺良田。累积起来有数十万亩。还有七、八份状子都牵涉到徐家，直接与霸占田产有关。
案卷阅毕，海瑞内心很不平静，充满了惊讶、疑虑、沉重等复杂的思想情感。惊讶的是，徐阶的弟弟徐陡，嘉靖二十六年（1547年）身为进士，官至南京刑部侍郎；徐阶的儿子徐璠、徐琨等都是朝廷的官员；还有徐阶的亲戚孙元春，进士，亦官太常卿，后升官左都督。像这样权势显贵的大家族，居然欺压人民百姓，委实令人吃惊。海瑞疑虑的是，徐阶官居一人之下万人之上，从22岁成进士起步入仕途四十余年，口碑颇佳。尤其是在嘉靖年间，奸臣严嵩、严世蕃父子擅权当道，厚颜昏庸，朝臣被迫害致死者很多，人人噤若寒蝉，面对如此情形，徐阶谨慎以待，韬光养晦，终将严氏父子拉下马，为朝廷除了一个大害。另外，徐阶是自己的大恩人，没有徐阶，海瑞早就命丧九泉了。古人云：“滴水之恩当涌泉相报。”万一众人状告徐家诸多罪状属实，我该不该秉公决断？
更是海瑞心情沉重的是，地主、豪强、达官贵人大肆侵占良田，备受欺凌的民众向上申诉，反遭州县官衙的迫害，民怨越积越深，矛盾激化后会由经济问题转为明朝的政治危机，后果是不堪设想的。
正确的决定来自正确的判断，正确的判断必须依靠正确的调查研究。海瑞决定亲自查清徐家的问题，特到松江府华亭县去实地了解情况。海瑞乘轿来到徐府，徐阶率其弟与众子侄在大门外数十步远处相迎。海瑞进大厅后，以晚辈身份和诚恳之态，向徐阶深表对当年救命之恩与提拔之情的感激，然后说道：“晚生的知恩图报与众不同，想学古人冯谖市义之举，请徐阁老谅解。”
“冯谖客孟尝君”的故事源自春秋战国时代，齐国公子孟尝君有一食客叫冯谖，受孟尝君委托到薛地去收债。他把债券收齐后当众烧掉，只身返回对孟尝君说：“对不起，我以你的名义把别人欠你的债券全不要了，而买回了‘义’。”后来，齐国政局突变，齐王把孟尝君赶到薛地，薛地的人民百姓因感谢孟尝君不收大家的欠债的情谊，都争先恐后地迎接他。
徐阶闻言，明白了他的来意，问：“刚峰老弟真要学冯谖义市吗？”海瑞直截了当地回答：“ 正是！您老位极人臣，享有盛誉，今年逾古稀，又享天伦之乐，福寿俱在，就是缺失一个‘义’字，您老能否补得这个‘义’字？”
徐阶稍后问：“刚峰老弟你就直言明事吧。”海瑞毫不客气地提出要求：首先请您老大义灭亲，把欺诈商人、贫民的您的儿子、侄儿以及家人、亲友，以“负荆请罪”的方式送到州府县衙，听侯宽大审理。
其次，请阁老您告诫子孙，今后不准以任何强权势力，特别是不许以您的身份、威望招摇撞骗，更不许对告状的人家打击报复。
最后，请阁老您速行仁义，主动把徐家三四十年来侵占他人的四十万亩民田、良地归还给原主，并向人家赔罪，以求宽恕。
徐阶听到这三项要求，感到很意外，一下子难以接受。他在隆庆二年（1568年）深秋时节辞官回籍，时年65岁。他的辞官回籍也属无奈之举，他提出的改革时弊、裁减冗员冗官、整饬朝纲和严肃吏制这五个主张直接危害了王公大臣和地方官僚的切身利益，遭到非议不说，连给事中张齐这样品级不高的言官也敢上疏弹劾他，而当朝皇帝明穆宗则无所表示，他由此辞官回乡。在他辞官回乡之前，其子侄等人就已经做出了违法乱纪的事，等他回乡之后也确实做了一些规劝，但侵占的良田确实已无法归还。
拜访交谈临近结束时，徐阶有个表态，他说：“老朽在京为官数十年，不问家事，如果是刚峰老弟列举徐家有不法的事，我会处置，照老弟之言办理。”
事后，徐阶以一家之长为尊，吩咐子侄、总管、账房先生，立即着手清查，做好退回侵占民田的准备工作。
海瑞指令松江府兵备副使蔡国熙和松江府的几位官员驻扎在徐府，厉行监督退田之事。半个月后，徐家把四十万亩良田全部退归给原主，喜得归田的农民们拍手称快，齐声歌颂“海青天”。
海瑞见徐家回归农民良田，徐阶依然值得信赖，便派人把告状的状子送到徐府请阁老大人过目，徐阶看过八份状子之后，自省自责，遂将其弟徐陡、二儿子、三儿子捆绑送往松江府，请求府衙按主动投案自首予以宽判。
徐阶退田四十万亩，亲将其弟和两个儿子送往官府问罪的消息不胫而走，应天十府的一些地方官也把侵吞农民的田地主动退归原主。海瑞不徇私情、大公无私的名声要是远扬四面八方。
徐阶家退田于民的实际效果带有辐射或者说是冲击波的效应，但另有狡诈之人乘机告发地主、豪绅的隐私，从而取得海瑞的信任，掩盖自己的恶行劣迹。仅举一例为证：苏州府有一个暴发户，人称“滚刀肉”，依靠坑蒙拐骗等手段，诈取他人之财而发家，还掠夺贫民的田产数千亩，占为己有。当他看到海瑞派人挨家逐户地清丈土地田产，核算赋税有无弄虚作假现象的时候，唯恐自己暴露，便使用恶人先告状的骗术，揭发检举原任苏州知府李必先，告李知府仗势欺人，豪夺贫农田产一万余亩，至今隐瞒不报。
海瑞选派一些官员去李必先家查验、核对，果然有侵占民田之事，海瑞一怒之下，逮捕了李必先，并判一万亩田产归还原主。事后，李家不服，认为海瑞断案不公，擅自将原任苏州知府李必先投入狱中的做法不妥当，因而多次上告朝廷。
毋庸讳言，海瑞在惩处李先生隐瞒田产的案件确中有纰漏之处，特别是对狡诈之徒的诡计缺乏防备，因而给反对他的人留下了口实。
给事中戴凤翔向明穆宗上疏，弹劾海瑞包庇像“滚刀肉”那样的奸诈歹徒，猎取名誉地位而败坏朝政。另一位朝廷言官给事中舒化，继戴凤翔之后上疏弹劾海瑞“为官迟滞又不明白政体”，不能胜任江苏巡抚职务，建议朝廷只安置海瑞一个清闲官职为妥。
一时间，海瑞成了攻讦者的众矢之的。数月后，明穆宗下旨海瑞任督南京粮储。在他将要赴南京上任时，又遭到宿敌高拱的打击报复。穆宗继承皇位后召回高拱，命他吏部主管。高拱和海瑞结怨颇深，高拱对隆庆元年（1567年）御史齐康弹劾徐阶案中的海瑞支持徐阶的言论，一直怀恨在心。将海瑞的督南京粮储职务合并到户部，而督粮储之职已有人兼管，即使海瑞到任，也只是编外的闲差。海瑞于是称病辞官，返回家乡。世道的险恶，政敌居心叵测的报复，使海瑞不禁慨言愤叹：“余垂成中止，奈之何！奈之何！”
然而，值得欣慰的是海瑞任应天巡抚，造福三吴，虽不到半年就被免职，但百姓听说他即将离去，纷纷哭声载道，有的人家还绘制了他的画像纪念他。
人们纪念他，成功治理了吴淞江、白茆河，在一个时期内消除了水患。
人们纪念他，逼乡官如数退田，实行均田均税，减轻了农民的负担，从此过上了安定的生活。
人们纪念他，不惧邪恶势力，刚直不阿，对横行霸道的徐璠、徐琨、徐瑛兄弟三人依法判罪（徐璠、徐琨充军，徐瑛革职为民），让人民百姓扬眉吐气。
