李卓吾对此并不避讳，他在《答周二鲁书》中坦诚：“仆在黄安时，终日杜门，不能与众同尘。到麻城，然后游戏三昧，日入花街柳市之间，始能与众同尘矣。”按此事发在李卓吾搬去麻城之后，但耿定向“强其弟”说，显然指这种事李卓吾在黄安时就发生过，那时候黄宜人肯定还在世，李卓吾没觉得这会伤害到黄宜人，这在当时也绝算不上“背叛”。
　　 事实上古代士人学子“狎妓”，根本就不是什么事，很多人还认为“风流才子”很值得炫耀，况“狎妓”不同“嫖妓”，一般不过喝喝花酒，逢场作戏而已。难说李卓吾更前地有没有过，这种事没人揭短也就没人在意，但耿定向醉翁之意，对李卓吾的指责居心叵测，比如“强其弟狎妓”，这“强”字就很矫情，其弟耿定理财大气粗又风流倜傥，反过来的可能也许更大。退一万步说，李卓吾“狎妓”又怎样？人家无子且坚不纳妾，怎么说也不可能是个作风放荡之人。只这种事从来都是好说不好听，同样是“狎妓”，说是风流才子也可，说是道德败坏也行，就看谁在说谁在听了。不过明代明令禁止官员狎妓，耿定向如此揭疤，用心不能说不险恶。
　　 耿定向对李卓吾的指责，在“强其弟狎妓”外还有欺辱寡妇，称“卓吾曾率众僧入一嫠妇（誓言不再嫁的寡妇）之室乞斋，卒令此妇冒帷簿之羞，士绅多憾之”（李卓吾《答周柳塘》引），这就更是捕风捉影了。
　　 对这两条指责，李卓吾在《焚书••答周柳塘》中曾一一辨明，其“狎妓”事，果不过“从众携手听歌”；至于闯寡妇卧室，则纯属造谣：“至于嫠妇，则兄所素知也。自我入邑中来，遣家属后，彼氏时时送茶馈果，供奉肉身菩萨，极其虔恪矣。我初不问，惟有等视十方诸供佛者，但有接而无答也。后因事闻县中，言语颇杂，我亦怪之，叱去不受彼供，此又邑中诸友所知也。然我心终有一点疑：以为其人既誓不嫁二宗，虽强亦誓不许，专心供佛，希图来报，如此诚笃，何缘更有如此传闻事，故与大众共一访之耳。”好奇心真是害死人！然不过一访而已，便有些许闪误，也是无心之过，只是被耿定向一张扬，李卓吾有多少张嘴也辨不白了。
　　 由此发端，在这类事上针对李卓吾的流言就多了起来，李卓吾其初并不在意，是又有求老寡妇毛氏“诗稿”不得之憾。意识到人言可畏，李卓吾主动避居城外，移居龙湖后，这类事已不可能，以为就惹不出闲话了，不想流言如影随形，还越传越“精彩”。至张问达弹劾他时，诬构已达极限：“尤可恨者，寄居麻城，肆行不简，与无良辈游庵院，挟妓女，白昼同浴，勾引士人妻女、入庵讲法，至有携衾枕而宿庵观者，一境如狂。又作《观音问》一书，所谓观音者，皆世人妻女也，而后生小子，喜其猖狂放肆，相率煽惑。至于明劫人财，强搂人妇，同于禽兽而不之恤。”这干脆是栽赃陷害。
　　 还是空穴来风，总有那么一点影子，别的不用再说，这“观音”是谁？她与李卓吾有什么关系？这就又引出一位女子，她就是梅澹然。不过就男女意义而言，梅澹然还真是继黄宜人之后，与李卓吾关系密切的第二个重要女性。
　　 梅澹然是麻城名门望族梅国桢之女。
　　 梅国桢，万历十一年（1583）进士，万历十六年（1588）初，其河南道御史任上携母归乡，里间闻李卓吾之名，不久邀为朋友，这应是二人初次谋面。但甫一见面，两个人就成为好朋友，并自此交往密切：梅国桢赞同李卓吾学术观点，李卓吾也以梅国桢为“大可用之人”。梅澹然是梅国桢之女，应该也是此前此后知有李卓吾其人，但一般不可能会面。大家闺秀礼法森严，梅澹然又是孀居在家，更不宜见外人，故她至多自其父闲谈中，开始对李卓吾有所了解。梅国桢之母不久去世，其在麻城守制，这期间与李卓吾相交日厚，梅澹然对李卓吾的了解，也可能因之越来越多，或始有书信往来，但二人还是没可能见面。
　　 据《梅氏家谱》卷19载：梅国桢“三女受刘承禧聘，未字刘卒，全贞空门，贺寂年三十七，成正觉淡然大士。乳名锦哥，性最贞静，且解禅理，而于绣工之事亦通。”又记梅国桢之父梅汝观墓葬事，“坟左山与香火庙山毗连，……庙名观音阁，供观音。司马公女名锦奇者……称淡然大士，铸铁像立于观音后，传说为龙女身云。”以梅澹然事迹考，“淡”字显为“澹”误，其乳名锦哥或锦奇，乃梅国桢三女无疑。
　　 传梅澹然曾被许配于麻城刘承禧家。《黄州府志》：刘承禧为万历庚辰（万历八年，公元1580年）科会魁（武状元），官至锦衣卫指挥。梅澹然许于刘承禧之子，但尚未出嫁其夫已亡（一说出嫁不久，其夫死）。这等于是“望门寡”，一般女子会选择改嫁，但梅澹然却要出家，据说她早就喜欢禅理。
　　 梅家乃麻城望族家学渊深，梅澹然虽是女子，在这种家境长大，也早已满腹经纶，不但才华出众，更且美貌如花，《万历野获编》曾誉其“有才色”……若是一般名门望族，这样的要求不会被允许，但梅国桢却是个开明的父亲，不仅没有阻拦，还于万历二十一年（1593）自都察院右佥都御史任上请假回家，亲自为女儿主持了出家典礼，梅澹然在自己生日那天出家，住进了绣佛精舍。
　　 绣佛精舍即梅家在麻城北街的家庙，称“绣佛寺”，乃梅国桢专为梅澹然所建。据《麻城县志》：“绣佛寺，在北街。梅司马女澹然舍宅，以绣为功课，故名。”李卓吾闻讯，特作《题绣佛寺精舍》为梅澹然作贺，其诗为：“闻说澹然此日生，澹然此日却为僧。僧宝世间犹时有，佛宝今看绣佛灯。可笑成男月上女，大惊小怪称奇事。徒然不见舍利佛，男身复隐知谁是。我劝世人莫浪猜，绣佛精舍是天台。天欲散花愁汝著，龙女成佛今又来。”
　　 梅澹然出家，李卓吾题诗为贺，或只因为与梅国桢的关系，但从诗意上感觉，此时他对梅澹然应已有相当了解：称呼亲切，祝颂美好。尤其“绣佛精舍是天台”句，甚至有着某种“神往”。
　　 事实正是这样，早在梅澹然正式出家前，他们已经开始密切书信往来，此时二人更是“神交”已久。
　　 梅澹然自夫亡后即决意出家，她对佛理、佛经非常痴迷，其父在家为母守制时，不明之处她可能请教父亲，但及至梅国桢守制期满离开麻城后，再写信请教就有点远水难解近渴了。黄宗羲《明儒学案》认为，或是其父提醒，或是有人指点，大约这个时候起，梅澹然开始与李卓吾有书信往来。
　　 笔者以为或者更早，早到梅国桢还在家守母制时，女儿其时已孀居在家属意理佛，新结识的好友李卓吾是现成的佛学“大师”，梅国桢很可能让他们“直接交流”，这种交流可能由其中转，但梅澹然书札李卓吾或直接见到。是以梅澹然与李卓吾交往，最早可能始于万历十六年，至万历二十一年梅澹然正式出家，两人已“神交”数年。
　　 此说还有旁证，万历十九年（1591）夏秋，李卓吾出行武昌离开麻城，同一年梅国桢守制期满也离开麻城，如此“求教不便”说是否牵强？且至万历二十一年春，李卓吾重归麻城，已有梅澹然书信催归之功，这满打满算不过一年多时间，二人交情可能发展的如此神速？两人不在一地，书信往来不易，这种可能性更小；再者李卓吾自武昌一回，有关二人的流言就迅速传开，倘二人尚未曾有过一地书信往来事，这流言传得似乎也太快了。
　　 种种迹象表明，梅澹然与李卓吾交往，很可能起码在万历十九年前就已经开始，这样李卓吾《题绣佛精舍》中“我劝世人莫浪猜”句，也就更好解释了。
　　 李卓吾回到麻城，在他为自己建造的埋骨塔旁侧，又继续兴建佛堂。梅澹然闻之，竟异常兴奋：“闻庵僧欲塑大土像，我愿为之，以致皈依，祗望卓公为我作记也。”（《焚书••观音问》引）她愿出资请李卓吾为她在佛堂塑观音像，并请李卓吾为她撰文作记，此事在梅澹然正式出家之前，可证其前二人交往已相当密切。
　　 李卓吾与梅澹然书信频繁，关系也很密切，这表现在二人书信内容和语气上，一个事事关心，有事必问；一个有问必答，有信必复。梅澹然师事李卓吾，李卓吾却以“澹然师”称之，二人俨然是一对异性忘年之交。这在当时已属“出格”之举，但若仅限于此，流言还不至太过，毕竟没有记载说二人见过面，若有，时人势必牢牢抓住，安有不提之理？李卓吾前次被谤出游武昌，众谤辞中尚无此事，此足可证二人没见过面。但自李卓吾归，二人交往愈发密切起来，且因梅澹然信佛，带动家族其他一些女眷也信起佛来，比如她的姑姑、姐妹和嫂嫂等，这一张扬，事情才整得大了。
　　 家族多位女眷到梅澹然这里切磋佛理，不明之处也就越来越多，梅澹然答不出来，问题自然要转手到李卓吾这里。先是梅澹然代问，渐渐其他女子也与李卓吾通书信，这样一来就惹人瞩目了，流言蜚语因此沸沸扬扬。在李卓吾著作中，在梅澹然之外，还曾提到过数位与之有书信交流的女子，她们的法名分别是澄然、善因、明因、自信、无明等，这些人与梅澹然具体关系不得而知，但大多是梅家女眷。
　　 大户女眷，一般会比较矜持，但平常妇女不同于年轻寡妇需要避嫌，抛头露面的可能性就大了，她们其中一些人就可能见过李卓吾，还可能出入过芝佛院，梅澹然的一些信件也可能由她们代传。既使她们不是亲自出面，其随侍下人也多是年轻女性，旁人不明就理，见到一些年轻女子三天两头总往芝佛院跑，那还不弄出闲话？别说讲男女授受不亲的当时，放到现在也难说没人说三道四。
　　 这在当时就惹出很多传言，寡妇门前是非多，李卓吾和梅澹然更成为众矢之的。但李卓吾心底无私，全然不理会世俗诽谤，依旧我行我素，及至梅澹然正式出家，他照作《题绣佛精舍》诗祝贺。梅国桢也不理会谣言，仍然支持梅澹然与李卓吾交往，还将祖传唐代诗人白居易手书《楞严经》赠送李卓吾，李卓吾也在上面题词……
　　 这般蔑视世俗礼法，自会招致更多流言蜚语，有人以妇人天生见浅不堪学道为由，劝李卓吾不要因女人惹是非，这样劝之者很可能是朋友，李卓吾闻之却撰《答以女人学道为见短书》驳斥，拒不接受舆论批评。
　　 李卓吾与人争执已成习惯，他更为梅澹然等女子担忧，故频频致函为之加油打气，他在《与明因》信中言：“世上人总无甚差别，惟学出世法，非出格丈夫不能，今我等既为出格丈夫之事，而欲世人知我信我，不亦惑乎？既不知我不信我，又与之辩，其为惑益甚！”继而又说：“我为出世人，光彩不到他头上，我不为出世人，羞辱不到他头上，如何敢来与我理论？对面唾出，亦自不妨。”
　　 李卓吾与梅澹然等女子往来，确实光明磊落，为了证明那些女子清白无辜，李卓吾将他与她们往来书信公之于众，果然探讨的多是佛理禅机。李卓吾将他与梅澹然的书信，称作《观音问》，誉梅澹然为观音，称其他女子为菩萨，理由是“澹然已落发为佛子也，于众位称菩萨者，众位皆在家，故称菩萨也”（《焚书•豫约》）。他以为这样做可减消人们的猜疑，不成想如此一来舆论对他们的攻击更激烈了！
　　 李卓吾或不明白，这些世俗之人不关心什么道理，甚至也不关心什么事实，他们更关心的是态度，李卓吾这种肆无忌惮的态度，等于是对世俗公开宣战，当然地会愈发地惹得众怒。
　　 李卓吾在麻城的处境因此越来越窘迫。
　　 本来与耿定向的论战，李卓吾就招致了当地官府和世俗敌对，再加上这些谣传，他在麻城的日子还能好过？流言满天危机四伏中坚守到万历二十四年（1596），好友刘东星邀其出游山西沁水，李卓吾顺水推舟决定再次离开麻城。梅国桢之弟梅国楼闻之，请其履约山西后还能再回麻城，令李卓吾一时徘徊。这显是梅澹然之意，但决定之事难以更改，故他回复梅国楼：“……而后再返龙湖，宁死于此，绝不敢作负恩人。”李卓吾离开麻城，针对他与梅澹然的传言也自然少了，但两人之间书信往来依然密切。
　　 在李卓吾出行途中，梅澹然写给他的书信除了问学，还总是催请早回，这样的书信每到一处都有，李卓吾终于返回麻城，也还有梅澹然催请之功。
　　 这种状况确实有点异常，二人之间这种关系，让人感觉起来总有点暧昧。事实还不止这些，李卓吾这次出行途中复梅澹然信中，还专门为她写过四首《却寄》，在山西大同寄居其父梅国桢处时，又有《云中僧舍芍药》诗二首，前者直接寄给梅澹然本人，后者虽没有点明写给谁，但其时身在其父梅国桢处，两首诗又作得非常悱恻缠绵，显然是寄托了对梅澹然的某种情愫。
　　 这里我们不妨先将这一共六首诗全部展示。
　　 《却寄》四首：其一“一回飞锡下江南，咫尺无由接笑谈。却羡婆须密氏女，发心犹愿见瞿昙。”其二“持钵来归不坐禅，遥闻高论却潸然。如今男子知多少，却道官高即是仙。”其三“盈盈细抹随风雪，点点红妆带雨梅。莫道门前马车富，子规今已唤春回。”其四“声声唤出自家身，生死如山不动尘。欲见观音今汝是，莲花原属似花人。”《云中僧舍芍药》（二首）：其一“芍药庭开两朵，经僧阁里评论。木鱼暂且停手，风送花香有情。”其二“笑时倾城倾国，愁时倚树凭阑。尔但一开两朵，我来万水千山。”