黄宜人是李卓吾结发之妻，二人于嘉靖二十六年（1547）成亲，时李卓吾21岁，黄宜人15岁（即14周岁，参见耿定力《诰封宜人黄氏墓表》）。李卓吾当时已算晚婚，明太祖洪武元年（1368）明令民间嫁娶依《朱子家礼》，男16岁，女14岁。按此黄宜人适龄，李卓吾则已延后数年，这可能和李卓吾当时家境有关。古时人为了尽快繁衍后代，有钱人家男子更多早婚，并更多是女大男小的搭配（可能尽快繁育后代），俗语“女大三抱金砖”描述的正是这种状况。
　　 结发夫妻男大女小，一般多属于贫困阶层，已经是大龄男青年了，自没必要再娶比自己年长的媳妇。李卓吾是家中长子，古代婚嫁风俗讲究长幼有序，长子拖延至这个年龄，其家庭经济状况可以想见。
　　 李卓吾这门亲事还算门当户对，妻子黄宜人也是仕宦后裔，到黄宜人时黄家虽也失去了门第光环，但其“家颇温厚，又多男子，其男子多读书，又善读书，纵其不尽读书，亦皆能本分生理”，属于“彬彬德素人家”（李卓吾《因果录》卷下）。这话翻译成民俗语，即是说黄宜人出身有一定门第背景，黄家知书达理是过日子人家，其家门风既好，又没有出过不肖子弟，黄宜人在这样的环境中长大，自也是个贤惠淑德之人。
　　 不过尽管如此，黄家并不显达，到黄宜人时，黄家已三世未出孝廉，更没出过举人、进士，这与李卓吾家有些相似，李卓吾的父亲也止于秀才。
　　 黄家也是泉州本地人，门第之故与李家交往已久，并世代联姻。许建平《李卓吾传》称李卓吾母亲也是黄家女子，此说无其它考据支持，李卓吾自述其生母徐氏、继母董氏，黄氏一说或为其再继母或亲族嫁入的女性长辈也未可知。有确凿考据的倒是黄宜人母亲为林李家族人，“宜人以嘉靖癸巳（1533）六月八日生，生五岁而丧其父黄公朝。事母林，……年十五归卓吾。家窘甚，佐以女红，糟糠不厌。而养其舅白斋公，务致……”（耿定力《诰封宜人黄氏墓表》）云云，这段记述透露以下信息：一者黄宜人母亲林姓；二者其呼李卓吾之父李白斋为舅；三者其父早亡（与李卓吾幼年丧母经历相似，都是苦孩子）；四者黄氏嫁到李家之初吃苦受累却毫无怨言。
　　 以上一二两项可认定黄宜人母亲为林李家族人，是以两家世代联姻无疑，黄宜人和李卓吾甚至可能近亲（俗称“骨肉还家”，或者他们子女夭亡也与此有关），故两家人知根知底又亲上加亲。黄宜人长得说不上倾国倾城，但也算得上端秀，且心地善良非常贤淑。成婚之前李卓吾与黄宜人是否见过面不得而知，但两人肯定不是恋爱结婚，只是这父母之命媒妁之言的结果还算般配，当时婚姻能是这种状况已属难得。
　　 事实上李卓吾与黄宜人婚后恩爱和睦，很可能是“先结婚、后恋爱”的状况。这个判断有若干依据，一是李卓吾后来追述黄宜人时的褒扬笔触；二是婚后他为这个家（起码包括自己小家）劳苦奔波却毫无怨言；三是李卓吾一生不负黄宜人，且在二子夭亡，身后再无男丁的情况下坚不纳妾；四是黄宜人去世后李卓吾对她仍恋恋不舍……此外还有李卓吾在《夫妇论》中对夫妻关系的重视和特别强调等。如果不是他与黄宜人感情深厚、婚姻幸福，这些状况应该不会全部呈现。
　　 古代妇女没有多大生活舞台，黄宜人与李卓吾婚后，无非也是相夫教子料理家务孝顺长辈等，黄宜人作为一个贫困大家庭中的长媳，除了孝敬长辈还要肩负照顾弟妹等责任。从李卓吾后来对她的追述中也可感觉，黄宜人在家事上做的不错，李卓吾对她从无抱怨。
　　 小夫妻难说没有一点矛盾，但黄宜人对李卓吾可能忍让、迁就更多，那个时代夫妻关系大多这样，李卓吾对黄宜人应该相当满意。
　　 李卓吾下面光弟妹就有7个，其家境本就贫穷，有了小家后肩上的担子自然更重，添人进口雪上加霜，养家糊口就成了李卓吾首要任务。无论作为长子、长兄，还是作为丈夫、父亲，李卓吾此时都要承担更多家庭责任。这一时期李卓吾存世资料不多，但肯定是在为生计四处奔波，他在《续焚书•与焦弱侯》中追述：“弟自弱冠糊口四方，靡不逐时事奔走。”这里透出很多信息，这“逐时事奔走”，或者是做私塾先生；或者是做小买卖（李卓吾商人家族血缘背景，不是没有这种可能，但肯定不很成功）；或二者兼而有之。还有一种可能就是游食于亲戚富贵之家，一边求学一边告贷。
　　 按李卓吾当时状况，更大可能是做私塾先生。李卓吾在《子由解老序》中，曾谈及当时一段故事：“盖尝北学而食于主人家矣。天寒，大雨雪三日，绝粮七日……主人怜我，炊黍饷我，信口大嚼，未暇辨也。撤案而后问曰：‘岂稻粱也欤！奚其有此美也？’”这个故事难鉴真伪，但一种状况可以肯定，“北学而食”或是个委婉说法，李卓吾当时“糊口四方”为家计奔波，一定吃了很多苦，若没有一个温馨的家庭作精神后盾，这种苦很难忍受。此反证黄宜人在他心中的份量。
　　 嘉靖三十一年（1552）李卓吾中举，家中贫困状况却未能改观。举人做官不但官小俸微难有前途，还可能长期候缺不知等到什么时候，是以中举后李卓吾继续为家计奔波，生存状况并未因此改善。举人头衔带来的好处有限，但总是为这个家庭带来了一点希望。李卓吾中举，黄宜人内助之功不可没！她嫁给李卓吾未得同甘先已共苦，这点希望对黄宜人也是个安慰，但万没想到好事没到灾难却抢先一步：嘉靖三十四年（1555）夏，李卓吾已经七岁的长子竟至饿死！李卓吾悲痛欲绝，黄宜人更是心都碎了……
　　 不久官报下来，李卓吾补从九品河南辉县教谕。丧子之痛中这一消息，带给李卓吾的却是安慰不抵忧愁：此职官小禄微不足养家，更且任所太远再无法照顾家庭，若此当时利益可能还不如离家不远当私塾先生，或做点小买卖呢！“不意走共城（即河南辉县）万里，反遗父忧。”（《卓吾论略》）不止如此，妻子儿女也不能随行，升斗之禄，或者养得了小家顾不了大家，或者单养小家都很困难，若去做官就必须离妻别子……长子夭折，黄宜人还没有走出丧子之痛，这时李卓吾又要离去，这对黄宜人而言何其残酷？但不去做官是坐以待毙，那可能连未来的希望都没了。
　　 李卓吾最终决定只身赴任，黄宜人不舍也无可奈何，贫贱夫妻百事哀，两个人都没有办法选择。此时黄宜人嫁给李卓吾已有八年，这八年家事艰辛，李卓吾被迫糊口四方，夫妻俩本就离多聚少，如今他们更要长期分离！黄宜人留在家中，还要担起更多责任，她要替李卓吾孝顺长辈养育子女，还要替他照顾好下面一众弟妹。为此黄宜人做出了巨大牺牲，她被迫地也会成为一个坚强的女人。
　　 夫妻一别直到李卓吾丁忧父丧再回泉州，其时已是嘉靖三十九年（1560）了，李卓吾离家五载，夫妻相思之苦可知。当时李卓吾新迁南京国子监博士，正想接父亲妻儿团聚，不料父亲突然病故，一切打算都泡了汤。
　　 明制：官员丧父要去职回乡丁忧守制三年，俸禄减半或全无。李卓吾被迫回泉州，他与黄宜人总算得以团聚。不过此时泉州正遭倭寇进犯，李卓吾此回，以朝廷命官身份参与御倭竟变成主事，丁父忧倒成了其次。内忧外患，家事更加艰难，好在倭患终得暂时平定。李卓吾守孝期满，要到北京再次候职，这次他决定携妻子儿女同行。父已去，弟妹婚嫁毕，李卓吾对大家的责任算是完成差不多了。黄宜人盼到了与夫君常相聚首，却不知老天给他们夫妻的磨难远没有结束。
　　 嘉靖四十一年（1562）夏末秋初，李卓吾携妻子儿女来到北京，到礼部报到候职，不承想这一等竟等了十数月！盘费耗尽，李卓吾只能重拾私塾旧业，总算盼到补缺北京国子监博士，以为最艰难的日子熬过去了，没想到更大的灾难不久又接踵而至：李卓吾北京国子监博士任上不到一年，家中再遭不幸，且祸不单行：先是次子因病因贫夭折，当天竟又接到祖父病逝讣文！
　　 李卓吾此时只剩下次子一个儿子了，次子夭折他便成了“无后”之人；一般官员只须丁父辈之忧，李卓吾却父丧在前，他作为长房承重孙，还要再丁祖父之忧！李卓吾此时真是穷厄困顿已极，大概连携家小返乡的路费都没有着落，一家人陷入“绝境”。但面对还嗷嗷待哺的三个女儿，李卓吾必须闯出一条生路来，黄宜人心态上与他一般无二，夫妻俩这种状况下被迫实现了“人格统一”。他们谁都不能再有自己，无论谁做出怎样牺牲，只要能让全家人跨过这道门槛！
　　 黄宜人又一次做出巨大牺牲。
　　 家小留在北京，无亲无故又无进项，只有死路一条；全家回泉州，当时无路费，回乡无生计，同样不可行……绞尽脑汁反复权衡，李卓吾还真想出了一个办法：暂时将家小安置到河南辉县去。那里有他之前置下的一点田产，将妻女安置在那里，靠那点田产耕获，或者还可能有一线生机。
　　 李卓吾将这个打算告知黄氏，没想到黄宜人一听大哭，她以自己母亲见其不归必死为由，哀告李卓吾不要把她和三个女儿弃置辉县。可哭着哭着，也自觉无法，竟又破涕强颜，反过来安慰丈夫。对于一个当时还没有走出又一次丧子之痛的女人而言，这是多么的坚强和难能可贵？通情达理如此，什么样的夫君能不为之感动？
　　 不过李卓吾这一决定还真值得商榷，置妻女于数千里之外的河南辉县，所冒风险实在太大了。三个女儿尚小，黄宜人一个妇道人家难以外事，万一有什么意外，那可能就是灭顶之灾了！后来发生的事不幸证明了这一点。
　　 为什么就没有想哪怕告贷，也要带妻女回乡呢？泉州也是黄宜人的家乡，林、李和黄家在泉州有不少亲族，总不会发生妻女差点全都饿死的惨事！难道李卓吾当时真的贷不到回家路费？也不是没有可能，北京国子监任上李卓吾得罪了很多同僚。反躬自省，这或者也是后来李卓吾“以友为命”的肇因？黄宜人当时的反对不无道理，这件事以后她给李卓吾的建议也大多合情合理，这说明黄宜人不仅贤惠而且智慧，只是多数情况下她无法违忤李卓吾的决定罢了。
　　 将妻女留在河南辉县，李卓吾再一次回泉州守制。三年丁忧期满，李卓吾才回辉县来接妻女，万没想到，眼前只剩下妻子和一个大女儿了！原来这期间辉县旱灾，自己又两个女儿饿死，这是何等悲哀的惨事！李卓吾惊悉噩耗，大病一场后总算挺了过来。黄宜人是已经挺过来了，生活磨难已经把她锻炼成一个坚强的女人。大灾时赖有李卓吾故友邓石阳主动接济，黄宜人用这些救命钱“以半籴米，半买花纺为布”（《卓吾论略》）自救，她和大女儿才得以活命，但两个小女儿先已饿死，黄宜人竟强忍悲痛，连消息都没有告知李卓吾。
　　 为什么没有告知？传信不便等或有其它原因，但问题是告知李卓吾有用吗？李卓吾其时穷困潦倒又鞭长莫及，知道情况也无能为力更于事无补，不过是徒增伤悲，那知道还真的不如不知道。李卓吾责怨黄宜人，但了解详情，他对妻子只剩下感戴和钦敬：“乃知妇人势逼情真，吾故矫情镇之，到此方觉屐齿之折也。”（《卓吾论略》）李卓吾心中愧疚，自此患难夫妻更是相依为命。
　　 孟子曰：“故天降大任于是人也，必先苦其心志，劳其筋骨，饿其体肤……”这个说法天命迷信，但若将原因和结果掉过来，便大大有理了。思想诞生于痛苦，李卓吾此时所经历的痛苦，已非一般人可能承受，挺过去就可能闪烁思想的火花，但一定得挺过去，黄宜人就是与他相互依靠与他一起挺过来的人。如果没有黄宜人，李卓吾能否挺过这些灾难真很难说。这种患难与共、生死相随还是某种激励，李卓吾有妻如此何以为报？也只能君子乾乾、自强不息了。
　　 黄宜人只是做了自己该做的，她对李卓吾或者没有期望什么，但在李卓吾这里，黄宜人贤惠、妇德无可挑剔，这种付出就是某种动力。黄宜人贤惠无需多说，她为李卓吾和那个大家早已付出很多，且无怨无悔。黄宜人的妇德，一件事就可说明：李卓吾在泉州守制、黄宜人留守辉县时，旱魃肆虐生计无着，若无人资助，黄宜人和三个女儿都会饿死。其时李卓吾故友邓石阳主持辉县赈灾，有位邻居老妇知之，劝黄氏主动往求。黄宜人却说：“妇人无外事，不可。且彼若有旧，又何待请耶？”（《卓吾论略》）其妇德、妇道、气节、见识由此可见一斑。
　　 李卓吾与黄宜人走到此时，他们之间早已不止爱情，更多出一种生死恩情，正可谓患难见真心，这样的两颗心，还有什么力量能把他们分开？这些经历奠定了李卓吾对黄宜人一生感情的基础：能够跟自己生死与共的女人，当然值得珍重一生一世。理解了两人这一段苦难经历和滴血心历，李卓吾此后坚不纳妾也就不难理解了。
　　 嘉靖四十五年（1566）初秋，李卓吾在辉县接到吏部通知，出任北京礼部司务职。这是一个从九品更小的官职，俸禄还不及丁祖父忧前的国子监博士，但李卓吾别无选择。好在此时他身边只剩妻子和一个女儿，负担减轻，家中经济状况反有所好转。自此黄宜人跟着李卓吾再没有忍受饥寒，日子也慢慢好过起来。几年后李卓吾官场转运，黄宜人夫贵妻荣，更终于跟李卓吾过上了衣食无忧的生活。