衣食无忧不等于无忧无虑，刚缓过劲来的黄宜人就开始忧虑丈夫的子嗣。
　　 谈到自己的子女，李卓吾后来一直称有过四子三女，但只存活一个长女。三个女儿都有交待，四个儿子却只说了两个，另外两个儿子是怎么回事？没有交待最大可能就是一出生就夭折了。这两个儿子是什么时候呢？在前在后都有可能，但从对明确夭折的两个儿子一直准称长子、次子上看，另两个儿子很可能是出生在后，那就是李卓吾出任北京礼部司务一职以后的事了。两个儿子都没有成活，李卓吾身后就没有了子嗣！那个时候重男轻女，李卓吾虽有长女也不算“有后”。
　　 李卓吾不以为意。
　　 李卓吾的“不以为意”，或者是感念黄宜人跟自己吃苦受罪、不离不弃的恩德；或者是礼部司务任上他开始痴迷“心学”，根本没时间和精力想这个事；再或者二者兼而有之。黄宜人却真的为他着起急来：李卓吾上任礼部司务时年已四十，黄宜人也三十五岁了，这个年龄再没有儿子，身后子嗣就真的危险了！许是又接连两个儿子都没成活，还在李卓吾礼部司务任上，黄宜人就力劝李卓吾纳妾。那个时代，男人无子嗣纳妾顺理成章，黄宜人如此也是真为丈夫着想，心中是否酸楚不得而知，她在这件事上非常积极。
　　 黄宜人不只说说，她还真的从官眷中物色了人选：李卓吾礼部一位同僚有个女儿，人品样貌黄宜人都已看好，都说通了到李卓吾这里却卡了壳。李卓吾坚不纳妾，黄宜人苦求无用也无可奈何（事见许建平《李卓吾传》）。类似状况其后多次，李卓吾再迁南京、又迁云南姚安，黄宜人都做过努力，李卓吾始终没有动摇。黄宜人大仁大义，李卓吾重情重义，这样的夫妻真是难得，尤其在当时那个时代，尤其是李卓吾，或者是黄宜人的恩德太让他感念了。如果说北京礼部司务任上李卓吾还因为经济，这后来官越做越大，俸禄也越来越多，一再拒绝就真诚可鉴了。李卓吾为道求真，做人也真诚不伪。
　　 事实上李卓吾如想纳妾冠冕堂皇，根本用不着黄宜人同意更别说多次力劝，尤其当时社会讲究“不孝有三，无后为大”，他这样做反而属于不近人情。这可以说跟他的反道统思想有关，但跟他与黄宜人的感情也不无关系，如果黄宜人本身令他不满，这种状况就根本不可想象了。有分析认为李卓吾与黄宜人是包办婚姻，两人事实上没有爱情，因此才有后来李卓吾遣黄宜人回泉州，及交往梅澹然等事，不知读到这里是否自觉偏颇？但空穴来风，这对“模范”夫妻，也真不是没有一点问题。
　　 问题出现在李卓吾成为一个思想家之后。
　　 李卓吾北京礼部司务任上俸禄虽低，但负担减轻，经济状况开始好转，不再贫贱的夫妻反而没有那么多故事，自此黄宜人留下的事迹就不多了。隆庆五年（1571）李卓吾升任南京刑部员外郎，官阶一下提高了好几品，官高禄厚更不用再为过日子发愁。妻女随迁南京衣食无忧，自然不需要交待什么，但南京六年，有一个细节值得注意：迁南京不过一两年后，李卓吾便开始赁屋于钟南山南麓一个叫鸡笼山的地方，闲暇时在此读书。
　　 文人喜欢安静，读书、写字不希望有人打扰，官大有钱了想“摆摆谱”……太多理由让这个事显得自然而然、无足轻重，但事实上这对夫妻的分歧已现端倪：李卓吾已经是一位思想家，他的很多观念开始不同常人；黄宜人却还是一个普通人，她的所思所想一言一行都是该怎么过日子。分歧就这样产生了，但一开始不是很大分歧，李卓吾与黄宜人又是共过患难的生死夫妻，这一点点分歧不会生出什么事来。事实也是这样，南京数年，黄宜人在李卓吾文字中几乎没有留下痕迹。
　　 李卓吾官运亨通，万历五年（1577）竟被擢升为正四品云南姚安知府。这一次接到升职令时，李卓吾却并不开心。他已经是一位思想家，升官不是他追求的目标，因此对他安逸生活和求学交友环境的搅扰，远大于升官带来的喜悦，何况姚安还是个偏僻蛮荒之地，又正在动荡不安之中？万历元年（1573）姚安发生少数民族起义，如今战乱初戡，此去任职还不知有多少凶险。想到此，李卓吾更担心起妻女，带她们前去，万一出点事如何是好？不去当然不行。还好好友焦竑猜到他的心思，在他离开南京前，告知他已帮他联系安排了一切：家眷可留居湖北黄安耿府，李卓吾自己去姚安上任就可以了。
　　 到黄安向耿府托眷十分顺利，但在黄宜人这里却出了问题，黄宜人坚决要与李卓吾共赴姚安，任李卓吾和女儿、女婿怎么劝都不听！
　　 黄宜人主要是为李卓吾着想：李卓吾脾胃不好、饮食挑剔、体弱多病又素有洁癖，到了云南若有个水土不服，谁人能仔细调理、照料？弄不好非出问题……“知夫莫过妻”，黄宜人说出的每个理由，都无可辩驳！不说的理由可能还有：夫君担心自己安危，要将自己留在黄安，难道自己就不担心丈夫的安危吗？夫妻一体，理应生死相随。这个理由不需要说，两个人都心领神会。此外黄宜人也有为自己着想的地方，这李卓吾可能猜不到，那就是黄宜人担心他走得太远。南京时他都能出去赁屋读书，这要独自到了云南还能回家吗？不能让丈夫成为自己手中断了线的风筝！
　　 理由必要充分，态度坚定决绝，黄宜人与李卓吾此时已是三十年的夫妻，他对李卓吾从没有这么执拗过，这一次却是铁了心。
　　 李卓吾自知妻子是关心自己，又想起河南辉县时自己相逼过甚的惨痛教训，难免心中愧疚，实在无可奈何，最终不得不答应了黄宜人。于是李卓吾将女儿女婿寄留黄安，自己携黄宜人到姚安赴任。
　　 没想到黄宜人的担心果然应验：李卓吾到姚安不久，即因为水土不服重病一场，且“大衰欲死”（李卓吾《圣教小引》），若不是有黄宜人在身边精心调理，一条命真的可能就留在姚安了。此病得一高僧救治，李卓吾因又痴迷上佛学，与名僧宝刹走得很近，知府任上有时公务也在寺庙处理，如没有黄宜人在，说不定真要整出个“世外高人”。
　　 李卓吾此时心学基础根深蒂固，一颗拳拳入世之心不改，不可能真去做和尚，但如和尚一般洒脱，斩断世俗羁绊，自由自在求问真学，无疑是李卓吾的理想生活，只可惜这个理想暂时还无法实现。黄宜人在不在身边还在其次，身为朝廷命官，政务总得处理，李卓吾当时并不过分，政绩官声也都不错。黄宜人随侍李卓吾但求平稳，一些细节也不计较，包括李卓吾为办官学“罄俸以营之”（李元阳《姚安太守卓吾先生善政序》），官俸建桥修庙等，黄宜人都没有反对，反正四品知府收入不菲，能过日子不出事就好。一如之前在南京时，姚安三年黄宜人留下的事迹也不是很多。
　　 或者还是痴迷佛学产生了一定影响，李卓吾知府任上任期未满就决意致仕。对于丈夫这个决定，黄宜人倒是一心支持，她了解李卓吾性格，更知这仕途不易，此时急流勇退，应该是最明智之选。致仕归隐故乡，老夫老妻也好过段安静日子，自从自己嫁给李卓吾，先是贫困难挨，后是担惊受怕，若此也算是终于熬到了苦尽甘来。或者也正因黄宜人支持，李卓吾致仕之心坚决，但终于获得朝廷允准，李卓吾却流连云南半载有余。
　　 李卓吾迟迟不归，黄宜人忧心不已，一日她终于忍不住，劝李卓吾早日还乡，没想到李卓吾一听竟断然回绝：“大丈夫四海为家，何以故乡为？况故乡家族众多，人多事繁，我所以辞官为的是清净自在耳，我意已决，不再回去。”（许建平《李卓吾传》）黄宜人闻听此言一时呆住。她担心的事还是发生了，丈夫果然已无心还乡！对李卓吾这个决定，黄宜人无力回天，要知道那个时代夫为妻纲，她与李卓吾感情再深，也不能违忤丈夫，但这样的决定对黄宜人何其残酷！
　　 李卓吾与黄宜人是患难夫妻，他们一起走过了常人难以忍受的磨难，李卓吾终于走上思想家的道路，黄宜人的内助之功不言而喻。从某种意义上说，没有黄宜人就没有李卓吾后来的成就，很难想象一个时刻被妻子抱怨和指摘的人会成为一个思想家，自信和具体环境支持是成就一个思想家的必要条件。对于黄宜人的付出，李卓吾感戴于心，他宁可无子也坚不纳妾之举，很大成分上就是为了不辜负黄宜人，他们夫妻感情不可谓不笃，但生活中他们的分歧也越来越大……
　　 李卓吾已经是一位思想家，他环境的选择必须有利于自己的学术，当然不能选择回学术氛围紧张（泉州时为程朱理学的根据地，与李卓吾的陆王心学对立），且家族人众琐事缠身的故乡；黄宜人对此是难以理解的，她始终是现实中人，有正常人的情感、正常人的计较和判断，希望过正常人的生活，落叶归根乃是不二之选。这次分歧是两个人一路分歧的必然结果，结果只能是黄宜人继续牺牲，否则两个人就只有分道扬镳，这甚至与夫妻感情没有关系。事实上这是黄宜人早已做出的选择，既然她支持李卓吾走上了思想家之路，这条路就无法半途而废。若半途而废，又何必当初？这条路一旦走上就难以回头，尤其当李卓吾已看到未来的时候，什么力量都拉他不回了。
　　 这种状况可说黄宜人“咎由自取”，只不过她当时不自知而已，最终是否能想明白也很难说，但直观感觉总是有的。黄宜人当时，连分道扬镳的选择都不可能，即使有，她也肯定不会选择，毕竟她和李卓吾共过患难，他们之间情深意笃。李卓吾决意不归，黄宜人无可奈何，但凡事总能有个折中，不回泉州，总应该先去黄安与女儿、女婿一聚吧？李卓吾却仍然犹豫彷徨。
　　 最终还是焦竑一封书信，促成了李卓吾黄安之行，焦竑约李卓吾一起到黄安吊唁耿定向之父，客观上帮了黄宜人。黄安虽不是故乡，但女儿、女婿现在那里，此去总可以先见到女儿、女婿，且离故乡近了一步。
　　 黄宜人随李卓吾终于到得黄安，又见到了女儿、女婿，一家人总算是团聚了。李卓吾在黄安得耿定向挽留，决定暂时留居黄安耿府，黄宜人不甚情愿，却也只能夫唱妇随。黄宜人此时应该已经感觉到，丈夫是一个做学问的，他的生活既不能被搅扰，也不能太闭塞，他需要身边常有一些同道交流探讨……这些条件老家泉州都不具备。不过想到这些黄宜人自知落叶归根的可能性越来越少，心中难免惆怅又无可如何。在丈夫和故乡之间，黄宜人当然选择丈夫，但她总是忧心忡忡，一家人这样寄人篱下，终归心里头不踏实，这是任一平常人都能感受到的，奈何丈夫偏不是一个平常人。
　　 黄宜人的担忧，几年后便应验了。
　　 李卓吾答应留住黄安耿府，原也是权宜之计，他心中最理想的归处，本来是到南京去就知己焦竑，无奈焦竑当时一心科考上进，功名富贵日日萦心，根本顾不上他，更且焦竑家境贫寒，经济上也帮不了他，不得已他才暂时留在黄安。耿定向与李卓吾学术观点不同，其弟耿定理却是李卓吾知己之交，有耿定理在，住在黄安原也稳妥，谁料万历十二年（1584）正值壮年的耿定理突然撒手人寰，黄安一下就变成了是非之地：耿定向担心自家子弟被李卓吾“异端邪说”带坏，不久便开始了对李卓吾的“劝说”；李卓吾自然要反驳，这来来往往关系就越来越紧张。
　　 寄居在人家屋檐下面，却和人家主人争吵起来，这地方还能再住下去吗？这种情况李卓吾终于体会到，黄宜人则比他更早就预见到了。还在耿定理去世之初，黄宜人就提醒：定理已去，定向与君多有隙，再呆下去已是无趣。此议不久，黄宜人之弟黄屿南自闽中来，言其母盼女儿、女婿归，日夜啼哭，自己此来，誓要接他们回去。这件事时间上实在凑巧，是否黄宜人做局不得而知，但李卓吾竟不为所动，黄宜人也只能日夜啼泣，其事终于不成，黄宜人的努力再次泡汤。
　　 要说黄宜人真可谓用心良苦，时机也把握得正是时候，无奈李卓吾归心已死，无论如何他都不愿回去家乡。黄宜人当然是为李卓吾好，当时状况，任何一个正常人都能看得出黄宜人的主张合情合理，也是正常人正常的选择，但问题是李卓吾不是一个正常人，他是一位特立独行的思想家。
　　 李卓吾心里想的，黄宜人也未必不知，她甚至可能理解，但作为一个正常人，她总是希望丈夫过正常人的生活。然事实上两个人已不属同一境界，所思所欲格格不入，甚或已完全背离。从这个状态上说，两个人的夫妻之路已走到头，尽管他们之间依然感情深厚。
　　 根本问题出在李卓吾身上，李卓吾求学问道太过痴迷，他已不适合有家，不适合有妻子儿女，他只需要一班志同道合的同志者。黄宜人被动的不能适应，她的问题，只在明知不可为而为，但人都生活在现实之中，李卓吾也没有超脱到不食人间烟火，为了丈夫的一切好，黄宜人又怎么能不尽人妻规劝之责？百分之一的希望，她也要做百分之百的努力。黄宜人没有错，有也是无心之错，黄宜人的悲剧只在于她的丈夫是一位思想家。李卓吾成为一个思想家，少不了黄宜人内助之功，但这一切在她不知不觉之中。早知如此何必当初，黄宜人并非早知，又何以问责当初？要完全理解这些，除非黄宜人也是一位思想家。
　　 作为一个思想家的李卓吾，也不得不为生存考虑，黄安是待不下去了，拒绝了黄宜人回家的请求，他总要为自己寻一个更好的去处，他的眼睛又聚焦在南京焦竑身上，但焦竑那里依然没有响应。请焦竑到黄安来，或是自己到南京去，围绕焦竑的各种可能都想到了，结果都不成功。正在李卓吾一筹莫展，准备亲到南京焦竑处一探究竟的当口，黄安临县好友周柳塘的盛情邀请，恰好解了他燃眉之急。