李卓吾决定迁到麻城去。
　　 黄宜人坚决反对！本来这一次黄宜人已看到了回家的希望：耿府眼看住不下去了，丈夫投靠无门，除了回家已无路可走，谁成想正在这个节骨眼上却冒出个麻城，一旦搬去麻城，再想回家更遥遥无期了。她要全力阻止丈夫，也是为丈夫着想，李卓吾已六十岁了，又体弱多病，实在不宜再异乡漂泊。她苦劝丈夫：黄安住不下去了，麻城又能热几时？还是要寄人篱下，怎比得故乡热土？
　　 对黄宜人的劝说，李卓吾干脆不听，他知道于情于理，自己都做得过分，但真让他放弃求道，回老家蛰居等死，自己也万难接受。黄宜人苦苦劝说无效，又开始哀泣哭求，面对妻子这个样子，李卓吾既满心愧疚，又莫名烦恼。
　　 黄宜人明白这是最后的机会，她下决心全力一搏，自己不行她又发动女儿、女婿，甚至连小外孙们都发动起来：李恭懿是李卓吾惟一存活下来的女儿，硕果仅存，李卓吾对她非常疼爱；庄纯甫是李卓吾的女婿，为人敦厚又是故人之子；三个小外孙更不用说了，隔辈人都是心尖子。女儿温柔矫情，女婿孝心感人，小外孙们抱膝央求……这阵势李卓吾也差点把持不住。但终于他还是狠下心来：妻女家小回老家泉州，宦囊之资让他们全部带走，自己只身走麻城，求友问道了此一生。
　　 黄宜人见此，知道一切都已不可改变，她与李卓吾夫妻一场，患难与共生死同心，想不到老来竟是这样结局。没有人知道黄宜人心里究竟怎么想，悔不当初还是甘心认命？不管怎样她都无法选择。黄宜人感到了心力憔悴，她此时虽只有五十多岁，但追随李卓吾已近四十年，年轻时在贫困中挣扎伤了身体，四子二女夭折又伤心、伤情，日子好了跟着李卓吾还是操心劳神，到此时已实在坚持不住了。
　　 关于李卓吾遣归妻女的时间，历来有两种说法，一说万历十三年（1585）春，也就是李卓吾迁居麻城之前，论据是李卓吾写给耿定向的《与耿司寇告别》中有言“贱眷思归，不得不遣”，告别信一般写在离别前后；另一说是万历十五年（1587），也就是李卓吾已搬到麻城之后，黄宜人滞留黄安，或随李卓吾到了麻城，且留住了一多年时间之后，论据是耿定力《诰封宜人黄氏墓表》中言：“万历丁亥岁，宜人率其女若婿自楚归。”这万历丁亥年就是万历十五年。
　　 持前种说法者，以李卓吾在麻城住维摩庵（和尚庙宇），黄宜人若同住不合规制、情理为据，旁证没有后一种可能。笔者却不以为然：李卓吾到麻城之初，事实上是先住到了周柳塘家，维摩庵则是周友山后为李卓吾建造的“书院”，书院未必就是居处，黄宜人既使随去麻城，也与维摩庵无关。笔者更倾向于后一种说法，以人情论，黄宜人与李卓吾感情深厚，纵要离他归去，也不太可能在李卓吾迁居之际，按黄宜人一贯行事，她更可能等看到李卓吾安定下来，离开才放心。至于李卓吾《与耿司寇告别》中“贱眷思归，不得不遣”语，或只是当时其事已定，未必就已成行。黄宜人滞留黄安，李卓吾自去麻城也有可能，但这样的可能性不大，是以更可能黄宜人回家乡前，先随李卓吾迁居麻城住了一段，一切安妥后她才按约定归去泉州。
　　 不论黄宜人回家是在李卓吾迁居麻城之前还是之后，黄宜人心力憔悴状况无疑，否则以黄宜人对李卓吾的情感，她更可能再一次做出牺牲：不归泉州，随侍李卓吾。事实上黄宜人离开李卓吾不过几年（很可能不到一年）就病逝了。黄宜人终于离开李卓吾，还可能有一些其它考虑，比如她此时应已明白，尽管她与李卓吾患难夫妻感情依旧，但二人现实距离越来越大，她留在李卓吾身边，对他帮助有限，对他求道问学的拖累可能更大；李卓吾如今不比从前，自姚安起李卓吾身边追随者越来越多，这些人问学同时，也承担起照顾李卓吾饮食起居的职责，自己留在丈夫身边的必要性降低……落叶思根归乡心切，况泉州老母垂暮，这些都最终促使黄宜人下定决心。
　　 黄宜人归乡途中和归乡以后留下的资料不多，只与李卓吾有关的事迹留存一些，四十年夫妻情深义重，回到泉州的黄宜人一直关注挂怀李卓吾。李卓吾离开是非之地迁居麻城，与耿定向的争论却愈发地激烈起来，不久还大病一场，这些情况黄宜人在家乡知之，很是为他担心，尤其担心的是他的身体。她知道李卓吾身边不缺弟子随侍，却还是放心不下。李卓吾为自己的理想舍家求道，黄宜人却一直在世俗生活，她在老家更想起李卓吾身后无子之憾，于是借助家族力量，过继李卓吾一个弟弟的儿子贵儿在他名下，并打发贵儿夫妇到麻城去侍奉李卓吾。
　　 李卓吾“剃发”事传到泉州，黄宜人非常惶恐，她怕丈夫真的出家，又求助丈夫宗族势力劝阻。黄宜人还遣女婿庄纯甫来麻城探望，有女婿到李卓吾身边，又有贵儿夫妇在，她心里才稍稍安定。黄宜人自回泉州，身虽不在麻城，心却一直在丈夫身上，这辈子她为李卓吾真是操碎了心，不知不觉已是油尽灯枯。
　　 万历十六年闰六月三日，黄宜人病逝于泉州，去世时身边惟女儿在，女婿、养子都被她遣去了麻城。
　　 又是一次祸不单行。李卓吾得知黄宜人去世消息时，已经在悲痛之中。原来麻城这边养子贵儿也出事了：谁都难以想象，从小在海边长大、惯通水性的贵儿，居然会溺毙于小小的龙湖（李卓吾此时在麻城已居龙湖芝佛院）！
　　 李卓吾本无意继嗣之事，黄宜人做主以贵儿为养子，并遣贵儿夫妇到他身边后，李卓吾一见贵儿乖巧伶俐非常喜爱。此时贵儿随侍李卓吾身边经年，双方已建立起深厚感情，贵儿突然发生意外，对李卓吾的打击不亚亲子之丧。李卓吾悲呼：天丧我欤！莫非我李卓吾命该绝子？陷入巨大悲痛的李卓吾正难以自拔，想不到泉州又传来黄宜人病逝的噩耗，李卓吾彻底崩溃了。
　　 按时间推算，贵儿意外还在黄宜人病逝之后数日，但当时消息传递缓慢，致有李卓吾后知黄宜人病逝。黄宜人去时，贵儿尚未出事，这对她而言还不算残酷，否则黄宜人九泉之下会对李卓吾更放心不下。
　　 命运对李卓吾却残酷得多，他悲痛养子贵儿之殇，更悲恸妻子黄宜人之逝，双重重击之下，李卓吾顿觉生不如死。黄宜人病逝，李卓吾并没有回去泉州，原因可能有多方面，比如若回泉州还能否出来？要知道泉州家族人众势大；比如李卓吾年老力衰，数千里奔波，他还能否扛得住等等；但最可能的原因还是贵儿意外，李卓吾肉体和精神已受伤害，再也承受不了更多；最不可能的原因则是他对黄宜人无情，黄宜人去世他也不愿回去。这件事上没有理由指责李卓吾，评论人事必须“深层换位”。
　　 接到黄宜人逝世的消息后，庄纯甫急往泉州，李卓吾留在麻城，这在当时几是不二之选。留在麻城的李卓吾，追忆起黄宜人音容笑貌，以《哭黄宜人（六首）》哀之，以《忆黄宜人（二首）》悼之，这是一个文人悼念亲人的最好方式。
　　 为使读者比较全面地了解李卓吾心中的黄宜人，这里将李卓吾写给黄宜人的八首诗全部辑录。
　　 哭黄宜人（六首）：其一“结发为夫妇，恩情两不牵。今朝闻汝死，不觉情凄然！”其二“不为恩情牵，含凄为汝贤。反目未曾有，齐眉四十年。”其三“中表皆称孝，舅姑慰汝劳。出朋日夜往，龟手事香醪。”其四“慈心能割有，约己善持家。缘余贪佛去，别汝在天涯。”其五“近水观鱼戏，春山独鸟啼。贫交犹不弃，何况糟糠妻！”其六“冀缺与梁鸿，何人可比踪？丈夫志四海，恨汝不能从！”忆黄宜人（二首）：其一“今日知汝死，汝今真佛子。何须变女身，然后称开士。”其二“我有一篇书，颇言成佛事。时时读一篇，成佛只如此。”
　　 李卓吾是一个思想家，其诗词艺术品味大多平平，但我们从中可以了解他对黄宜人的基本评价，一如他在学术上求真恶假，他对黄宜人的评价也很客观，因此我们也更好判断他与黄宜人真实状况。
　　 在《书答•与庄纯甫》中，李卓吾对女婿一样直说对黄宜人的评价，这个读起来更清楚明白：“相聚四十余年，情境甚熟，亦犹作客并州既多时，自同故乡，难遽离割也。夫妇之际，恩情尤甚，非但枕席之私，兼以辛勤拮据，有内助之益。若平日有如宾之敬，齐眉之诚，孝友忠信，损己利人，胜似今世称学道者，徒有名而无实，则临别犹难割舍也。何也？情爱之中兼有妇行、妇功、妇言、妇德。更令人思念耳，尔岳母黄宜人是矣。独有讲学一事不信人言，稍稍可憾，余则皆今人所未有也。我虽铁石作肝，能不慨然！况临老各天，不及永诀耶！已矣，已矣！”
　　 同一书中李卓吾还谈及自己对黄宜人的追思、期许：“自闻讣后，无一夜不入梦，但俱不知是死。岂真到此乎？抑吾念之，魂自相招也？……纯夫可以此书焚告尔岳母之灵，俾知此意。勿贪托生之乐，一处胎中，便有隔阴之昏；勿贪人天之供，一生天上，便受供养，顿忘却前生自由自在夙念，报尽业现，还来六趣，无有穷时矣。尔岳母平日为人如此，决生天上无疑。须记吾语，莫忘却，虽在天上，时时不忘记取，等我寿终之时，一来迎接，则转转相依，可以无错矣……以待我至亦可。幸勿贪受胎，再托生也。纯夫千万焚香化纸钱，苦读三五遍，对灵叮嘱，明白诵说，则宜人自能知之。”纯夫即庄纯甫，李卓吾反复要他转告黄宜人在天之灵，在那边一定要等他，下辈子他还要与黄宜人再做夫妻！
　　 引文这么多，不需要再过多赘论，李卓吾对黄宜人评价很高，他对黄宜人有感情，黄宜人之死让他感伤无限……
　　 黄宜人这一辈子，对李卓吾更是有情有义，有功无过。只说无过，“独有讲学一事不信人言”，无非是说黄宜人没跟着自己做学问，但俗世夫妻，两个人可能都做思想家？尤其对于患难夫妻，那简直就是难以想象。夫妻关系是一种互补，果真黄宜人也去求道，李卓吾谁来照顾？李卓吾这一小“憾”，对自身而言是奢望，对黄宜人而言是苛求，好在此外他给黄宜人的都是赞誉。
　　 黄宜人生命的价值，不在于她自己成就的，而在于被她成就的，从这个意义上说，李卓吾成就的一半，属于黄宜人，黄宜人与李卓吾一样不朽。这么说，黄宜人跟李卓吾这一辈子吃苦受累也还值得，但下辈子要不要与一个思想家再做夫妻，黄宜人真的在天有灵，可能会慎重考虑，因为这样的选择一点都不“实惠”。
　　 黄宜人病逝，李卓吾为其手书墓碑碑文：“李卓吾妻黄氏之墓”；还特意落款：“卓吾老子书”。此足见他对黄宜人感情真挚，对她为妻之义和妻子地位充分认可与肯定，但一贯他之前与黄宜人的分歧，他又特意嘱咐女婿，为其岳母黄氏营墓时“仅造单圹”，这表明他要坚持自己求道天涯之路，死后也不会回泉州和黄宜人埋在一起。
　　 这两件事，让人感觉上总有点别扭，但李卓吾思想和行为一贯如此，难怪有人称之“矛盾的思想家”。事实正是这样，李卓吾很多思想偏激，他在哲学上只感悟到“本能”，停留在这个阶段往往很痛苦。一方面他在思想上结论到“本能肆虐”，但人生中又总被人的“知性超越”触动，导致自身知行矛盾、悖反……有关这种哲学上的道理，读者可参阅拙作《混沌哲学本体论》（文化艺术出版社2005年版），我们这里就事论事：李卓吾思想上主张“纵情放欲”，但生活中他却相当“收敛”，就比如坚不纳妾。
　　 有关黄宜人，耿定向《诰封宜人黄氏墓表》盖棺定论：“迨卓吾官尚书郎至太守，称贵显矣，宜人甘织勤，同女奴杂作。卓吾艾年拔绂，家无田宅，俸余仅仅供朝夕。宜人甘贫，约同隐深山。卓吾乐善好友，户外履常满，宜人蚤夜治具，无倦容。卓吾轻财好施，不问有余，悉振人之急，宜人脱珥推食无难色。卓吾以师道临诸弟甚庄，宜人待娌姒如同胞，抚诸从若己出……万历丁亥岁（1587），宜人率其女若婿自楚归，而卓吾尚留楚。宜人念其夫在远方，郁郁不怿。越戊子（1588）闰六月三日卒于家。庄生先期如楚省卓吾，独其女含敛。讣闻，卓吾不为恸，而友卓吾者忉怛不胜。庄生以是年季冬十八日葬宜人于城南之张园。予适董闽学政，扬幽阐懿，职也，述所闻而表其墓石。”
　　 耿定向对黄宜人的追述，细节难免小误，评价大体客观。其中还言道“贤哉宜人，妇道备矣。而卓吾尝曰：‘是妇也，惠则惠矣，未知道也。’”并称黄宜人死“卓吾不为恸”，这是为黄宜人抱屈，但对李卓吾的有些批评未免不公，比如李卓吾对黄宜人之死很是伤恸，对自己弃家不归也有过反思。《焚书•与曾继泉》中，他曾力劝曾继泉：“何必落发出家，然后学道乎？”
　　 黄宜人死后，李卓吾曾经沧海，对男女之事淡然处之。然树欲静而风不止，正是在男女关系上，李卓吾其后竟招来很多非议，以至最终被人诬陷、弹劾，逮死狱中！那么在黄宜人之后，李卓吾究竟惹上了什么麻烦，又有哪些女性与之“有染”？
　　 这还要从黄宜人在世时说起。
　　 李卓吾留居黄安耿府时，有一段日子过的很是逍遥：耿家对他照顾的很好，耿定理与他志趣相投情谊深厚，两个人与黄安及其左近士人学子交游甚欢，麻城周柳塘更是他们共同的好友，经常邀二人等到麻城游玩。大概就是这个时候，发生了李卓吾“狎妓”之事，只不过这在当时根本没被当回事，直到耿定理死后，李卓吾与耿定向交恶，这件事才被耿定向抖落出来，指责他“强其弟狎妓”（李卓吾《答周柳塘》引）。