一天早晨他又来到有牡丹的地方，却看到一个青年女郎和一个老妇人在那里。因揣测他们是这个富贵人家的家眷，常大用就急忙离开了。傍晚再去，又见这这一老一少，常大用从容地躲避在一旁，偷偷地瞧那女郎一眼，看到她一身高贵艳丽的宫妆。常大用把眼都看花了，忽然转念一想：这一定是仙子，人世间哪会有这等美艳的女子啊！他急着回身找她们，快步走过假山，正巧与老妇人碰上。当时女郎正坐在石上，看到常大用吃了一惊。老妇人用身子档住女郎，呵叱常大用说：“轻狂的后生想干什么！”常大用直直地跪在地上，说：“娘子一定是仙人！”老妇人训斥他说：“像这样胡说八道就该绑了送官府！”常大用很害怕，女郎却微笑着说：“走吧！”说着，就走过假山去了。
　　 常大用回去后不敢远走。怕女郎回去告诉她的父亲兄长，她家里人必然会来辱骂。卧在空空的房间里，非常后悔自己的浅薄唐突。私下里庆幸女郎当时没有恼怒的表情，觉得她或许回去后回去后也许不会放在心上。因为又后悔又惧怕，内心煎熬了一夜就病倒了。早晨太阳出来的时候，高兴地看到没有人来问罪的人，心情也就逐渐安稳。回忆那女郎的声音和容貌，又转惧怕为想念。就这样过了三天，憔悴得都快死了。夜里点着蜡烛，仆人已经熟睡。那个老妇人进来，把瓯送到常大用面前说：“我家葛巾娘子，给你亲手做了剧毒的鸩汤，你就快快喝了吧！”常大用很害怕地说：“我与你们家女郎，夙来没有怨仇，哪至于药死我？既然是她亲手做的，那，与其相思而病，不如仰药而死！”于是就端过来一饮而尽。老妇人笑着接回瓯走了。常大用感觉这药气味香冷，好象不是有毒的。不一会就觉得肺膈宽舒，头颅清爽，酣然睡去。等醒来时已经是红日满窗。试着起床，病好象没有了，心里更加相信这女郎是花仙。因为没有可以给女郎联系的因由，在她似乎站过的地方，虔诚地叩拜，小声地祈祷。
　　 有一天出去行走，忽然在深深的树林间见到女郎，所幸并无别的人，常大用高兴得几乎要趴地上。女郎上前去拉她，忽然闻到她全身都有奇异的香味。用手拉着女郎如玉的手腕站起来，感觉她皮肤柔而细腻，让人魂迷得骨头节都快酥软。正想说话，老妇人忽然来到。女郎让常大用藏在石头后面，指着南边说：“今天夜里用花梯爬墙过去，四面有红窗的房子就是我住的地方。”说罢就走了。常大用很失落，感觉魂魄飞散，不知到去了哪里。到了夜里，常大用把梯子架到南墙登了上去，发现墙的另一侧已经有梯子在，高兴地顺梯子下来，看到果然有带红窗的房子，听到房子里有敲棋的声音。他在房外静静地站立就是不敢再往前迈步，只好暂且翻墙回来。过了一会儿再次翻墙回来，听到敲棋子的声音还是很多。慢慢地走近窗前往里偷看，发现是女郎和一个穿着白色衣服的美丽女子面对面地下棋，老妇人也在坐，又有一个女仆侍候着。常大用又回到墙这边。就这样走了三个来回趟，已经三更。常大用趴在梯子上，听老妇人出来说：“梯子啊，谁放这里的？”喊来女仆一起移走了。常大用登到墙上，想下去墙另一边却没有梯子，就很失望地回去了。
　　 第二天晚上再去，墙那边的梯子又先摆在那里了。所幸这次寂静没有别人，常大用就进了屋。那女郎独自坐着，若有所思者，看到常大用惊起，斜身站着脸上带着羞色。常大用作揖施礼说：“我自感福份薄，怕与你这位仙子没有缘分，没想到也能在这个美好的夜晚见到你！”于是亲昵揽抱女郎，感到她纤细的腰部一把就能握住，她吹的气息象如兰花的香味。女郎用手臂拒绝他说：“怎么能这样急忙啊！”常大用说：“好事多磨，如果晚了怕遭鬼嫉妒。”还没说完，就听到远处传来说话的声音。女郎急忙说：“玉版妹子来了！你可以暂且藏在床下。”常大用听了他的话。很快，一个女子进来，笑着说：“败军之将，还能再说战么？已经煮好茗，这就邀请你长夜下棋。”女郎以困惰为由加以推辞，玉版坚决请求，女郎牢牢地坐着就是不去。玉版说：“象这样恋恋不舍，难道有男子藏在屋里不成？”说罢，强行拉女郎出门而去。常大用爬出来，非常恼恨，就搜看枕簟，希望得到她遗留的东西。但是室内并无香奁，只床头有一个水精如意，上面结着紫巾，芳洁可爱。把如意揣在怀中，翻墙回到自己的住处。自己整理衣服，感觉女郎的体香还很重，于是，对女郎的爱慕之心更加迫切。可是，因为有此前趴在床下那样的惶恐，也就惧怕被到惩罚，思忖着既然不敢再去找女郎，也就珍藏着这个如意，以希望女郎过来寻找。
　　 过了一夜，女郎果然来了，笑着说：“我此前以为你是君子，不想你却是寇盗啊，”常大用说：“确有这事。我之所以偶然不当君子，只是盼能让我满意罢了。”于是 就把女郎揽在怀中，替她解开裙带。这时，女郎玉肌乍露，热香四流，偎抱之间，觉鼻息汗熏，无气不馥。常大用说：“我坚信你是仙人，今天更知道没有看错。所幸你看得起我，真是三生之缘。只怕象杜兰香那样的仙女下嫁到人间，最终却成离恨啊。”女笑着说：“你过虑了。我不过象离魂之倩女，偶然被情打动罢了。这样的事应当谨慎秘密，怕有非之口捏造黑白，你不能长出翅膀，我不能驾乘清风，如果因祸断分离那就比平安的分别更惨了。”常大用认同她的话，但始终怀疑女郎是仙人，执意问女郎的姓氏，女郎说：“既然把我当成仙人，那仙人又何必用姓名传世。”常大用问：“老妇人是什么人？”女郎说：“她是桑婆婆。我小的时候受到她的雨露覆盖，所以不能当仆人看待。”于是起身想离去，说：“我那里耳目多，不能在这里呆久了，有空我还会来。”临别，向常大用索要如意，说：“这不是我的器物，是玉版忘在我那里的。”常大用问：“玉版是什么人？”女郎说：“是我的叔叔家的妹妹。”说完，拿了如意就走了。离开后，被子，枕头都留下了特殊的香味。
　　 从此，每天三两夜就来一次。常大用被迷恋住得也不想回家了，但口袋中却没钱了，想把马卖了，女郎知道后，说：“你因为爱我，倾尽所有的钱财还典当了衣物，我于情不忍。现在又想卖了代步的马，那你离家千里怎么回去啊？我有点私下的积蓄，可以资助你一下。”常大用推辞说：“有感于你的恩情和漂亮，即使我粉身碎骨也不能报答，却又贪婪浅薄，来耗费你的钱财，还怎么叫个人呢？ ”女郎硬要这样，说：“暂且借给你。”于是捉住常大用的手臂来到一棵桑树下，指着一块石头说：“你把它转动！”常大用按她说的搬动了之头。她又拔出头上的簪子，在土里刺了几十下。又说：“扒开。”常大用又按她说的办了。这时已经看到瓮口了。女郎把手伸进去，拿出白镪五十余两。常大用抓住她的手臂不让她再往外拿，她还是不听，又拿出好几十铤，常大用硬是分出一半再次埋进瓮里。一天夜里女郎对常大用说：“这几天稍稍听些闲话，看来咱们这样肯定不能长久，这事不能不提前打算啊。”常大用心里一惊，说：“那怎么办啊！我平素迂讷谨慎，现在因为爱你，就象寡妇跟了人，已经不能自主。一切听从你的安排吧，即使是遭受刀锯斧钺，我也不能顾及到了！”女郎谋划二人一起逃走，让常大用先回去，约定在洛阳相会。常大用很快办完了事情，想着自己先回而后迎接女郎。等到回到家里，却见女郎的车子正好也到了门口。女郎到堂上拜见常大用家人，四邻都惊异祝贺，却并不知道女郎是偷偷逃出来的。常大用有些自怕，女郎却很坦然，对常大用说：“不要说我们身在千里之外曹州寻查的人找不到，即使是他们知道了，我是富贵人家的女子，象卓王孙拿司马相如没办法一样，我娘家的人也不能对你怎么样！”
　　 常大用的弟弟常大器，时年十七岁，女郎看到他说：“他有慧根，前程会比你当哥哥的好。”常大器结婚一年，妻子忽然夭死亡。女郎对常大用说：“我的妹妹玉版，你以前也见到过，长得很漂亮，年龄与你弟弟差不多，他们作为夫妇可以称得上佳偶。”常大用听了开玩笑地说请她当介绍人 ，她说：“这有啥难的。”常大用说：“你有什么办法？”女郎说：“妹妹和我感情最好。用两马驾轻车，费一老妇人往返一趟罢了。”常大用怕自己与女郎生情私奔的事被人发现，不敢服从她的想法，女郎说：“不妨。”就派桑妪带车去。几天就到了曹州。接近里门的时候，难能桑姥姥下车去，让驾车的人只在路上等着。桑姥姥乘夜进入家里，过了好久才偕同女子出来，上了车就走。一路上，夜里就睡在车中，过了五更再赶路。女郎算好该到的日子，让常大器穿着盛装迎接他们。常大器走了五十多里路就遇到了玉版他们，一齐乘车回来；请了花鼓吹队吹吹打打热闹，点起花烛，举行了婚礼。自此兄弟二人都得到美丽的媳妇，家里的日子也一天比一天富裕。
　　 一天，好几十个强盗骑着马冲进他们家。常大用知道发生了情况，让全家人躲到楼上。强盗就入院围楼。常大用俯下身子问强盗：“咱们有仇么？”强盗回答说：“没仇，但是我们有两件事相求：一是听说你们两个的夫人世间难找，请赐我们看一看；一是我们这些人，各人向你们讨要五百两银子。”强盗在楼上积聚干柴，以放火相威胁。常大用只应允他们索要金钱的要求，强盗的想法得不到满足，准备焚烧楼房，家里人非常害怕。大用媳妇就和玉版下楼，家里人制止也不听。她们带着很耀眼的打妆，在还有三个台阶就到地下的地方，对强盗说：“我们姊妹都是仙女，暂时到人间来，哪里怕强盗！想赐给你们万金，还怕你们不敢要呢！”听了这话，众强盗一齐仰头礼拜，喏声说“不敢”。姊妹俩想退到楼上去，一名强盗说：“这是在骗人啊！”常大用媳妇听到这句话，回过身来站在那里，说：“想做什么，就早早地做，现在还不晚呢！”那些强盗互相看看，沉默着没有一句话。姊妹二人从容上楼而去。强盗仰望看不到他们的时候，才哄然散去。
　　 此后二年，姊妹二人各生一个孩子，这时候大用媳妇说起自己才提到：“姓魏，母亲封为曹国夫人。”常大用怀疑曹州没有魏姓世家，何况大户人家失去女儿，哪能连找也不找呢？他没敢一直问下去，心里却感到奇怪。于是找了个理由再次去曹州，到那里查访询问，发现世家大族中并无魏姓。于是就又租住从前住过的地方。在这里，他忽然看到墙壁上有赠曹国夫人诗，很惊异，就追问园子主人。主人笑了，就请他去看曹夫人，到地方一看却是一株牡丹，这株牡丹与房檐一样高。问主人为什么取名曹国夫人，才知道因为这株花在曹州第一，所以一些人才这样戏封它。常大用问这树是什么品种，主人回答说：“是葛巾紫。”听了这话，常大用更加惊骇，就怀疑媳妇姐妹俩是花妖。常大用回到洛阳以后不敢追问，只是复述赠曹过夫人诗来试探她 。媳妇听后皱起眉头变了脸色，急忙喊玉版抱着孩子过来，对常大用说：“三年前感动于你对我的爱情，就以身相嫁回报你；现在被你猜疑，我们哪里还能在一起过！”她和玉版都把孩子高高举起再远远地摔在地上，两个小儿堕地就没了。常大用刚惊恐地看过来，而姐妹二人就都看不到了。常大用悔恨不已。过了几天，堕儿的地方长出二株牡丹，一夜就有一尺多高，当年就开花，一株开紫花一株开白花，花朵象盘子那样大，与普通的葛巾、玉版品种相比，花瓣更多更碎。过了几年这里牡丹就茂荫成丛，移分到其他地方，变化出许多不同种类，就不能看出是哪个品种名。自此牡丹之盛，没有比得过洛阳出的了。
　　 异史氏说：“感情专一，鬼神可通，花也不能说无情。白居易寂寞的时候还用花当夫人呢，何况真能感情相通，何必费劲地追究他的来历呢？只可惜常生不明白这样的道理！”