他在任上一干就是四年，深受当地百姓的喜爱，为官清廉，并积极带领百姓因地制宜在全县种植桃树李树，人民安居乐业，因此被称为“花县”。
　　 他写信欣喜地告诉夫人自己在这里的雅号，杨容姬甚为欢喜，立马就决定到乡下来一趟，思念夫君，想多多陪陪他。夫人出门是件大事，小翠自是少不了的，由管家和几个男丁亲自护送到了河阳县，县衙里没有见到夫君，因他早上已去查看庄稼的旱情了。
　　 不少的乡亲们听说县令的夫人来了，纷纷带着自家的干果、好的吃食来看望她，她不避礼节，和热情的百姓们攀谈、叙家常。
　　 这个说你有一个好夫婿，那个说我们的县老爷是个好官，说的杨容姬也是欣喜万分，更加急切地想尽快见到他。
　　 天快黑了，潘安才风尘仆仆地赶回来，一进县衙大院，她就听到了夫君兴冲冲地呼喊，和小翠急忙迎了出来，只见夫君皮肤晒黑了，高挽着裤管，浑身都是土，她急忙上前行礼，潘安一把拉起夫人，连连问：“累坏了没有，烦劳夫人了！”
　　 见到夫君的杨容姬心尖直颤，喜悦挂在脸上，盯着他看个没够，一旁的小翠赶忙提醒夫人该进屋了。
　　 晚饭她已做好，饭桌上自是话语不断，说不尽的家长里短。
　　 她在这里呆了半个多月，看到夫君在这里干得挺开心，而且身体也强壮了不少，也就放心地离开了。
　　 他在这里干满了四年，四年后迁任怀县令，政绩突出的他到头来还是平调，朝中正直之人为他鸣不平，然而，还没有学会为官之道的他带着怨言和愤懑，揣着杨容姬宽慰的话语到了任上，他还是兢兢业业，因政绩出色后调补尚书度支郎，回到京城洛阳，官至六品，不久调任廷尉评，在这个位子还没有坐稳就被免职了。
　　 潘安赋闲在家，和妻子过了一段清净相守的日子，好友夏侯湛时常出入潘府，但是，这时的潘安开始研究官场之事，常常是独自在书房思考到深夜，抚今追昔，清廉为官，期待事业有成，无奈官场浑浊，唯有心不甘。
　　 杨容姬每每看到夫君忧虑在身，也跟着不安，虽是不断地宽解他，但是看着夫君怀才不遇的境遇，内心担心多了，身体开始不适起来。
　　 这时的潘安说起仕途来便充满了一种仇恨，一种不达目的不罢休的激愤。
　　 “夫君，妾身不想你这样，人生不是只做官一条路，实在为你不安……”她躺在床上，面色苍白，眼里满含着对丈夫的爱怜。
　　 潘安手拉着她的手，知道夫人心底里的善良，宽慰着夫人：“你放心养病，不要乱操心。”杨容姬这时已知道劝解不了夫君了，便深深地叹口气：“愿夫君爱惜自己，也许妾身不久就会离开你，愿你找个好人家的姑娘来顶替妾身……”
　　 潘安对夫人一往情深，这时他已是泪流满面，赶忙制止了她。
　　 杨容姬把男人的手臂拉进自己的怀里，泪水不断，“妾身这辈子跟了你是福分，知道你对妾身的情谊比海深，知足了，只是在我走后，你不要苦了自个儿，男人做官当紧也不当紧，首要的是平安，你为了妾身，小翠也不能跟你圆房，听妾身一句话，我走了后你就和她圆了房吧，咱们要不实在对不起人家，让她做小也行，对你她没话说，心底里也是爱慕你的，就当是为了妾身。”
　　 不是嫌弃她，潘安实在是没有这样的想法。这小翠都成老姑娘了，还不离不弃在他的身边伺候，但他心里没有旁人，此时只得劝解夫人不要多虑，好生养病。
　　 “还有一点，不知妾身说的合你心思不？”
　　 “夫人请讲！”
　　 “咱不再某什么官位子了好吗？妾身就愿想你平顺地度过下半辈子，少担惊受怕，弄不好连自家人的性命都不好保全，你要答应妾身！”
　　 潘安看着病恹恹的夫人，只得点头。
　　 杨容姬这才露出一丝微笑，几天后她去了，带着对潘安的眷恋离开了人世。
　　 潘安的痛苦可想而知，在思念夫人的痛苦中，写出了流传至今的名篇《悼亡诗》三首，尤其是第一首很快风靡了整个西晋，后来他又写出了《哀永逝文》《悼亡赋》等怀念文章。
　　 杨容姬逝世后，他一改自己的孤傲，开始在各个达官贵人家穿梭曲意奉承。夏侯湛极力相劝，一方面是看在老朋友的面子上，另一方面也是受杨容姬生前所托。然而，潘安哪里听得进去，最后两人吵了起来，潘安不再和他走动，夏侯湛多次相请吃酒，他也不到。
　　 永熙元年，晋武帝病重，他的老丈人杨骏将其软禁在含章殿，身边侍卫皆换为自己心腹。潘安开始再一次做官，为太蔚府主簿，其实官职不大，只是在杨骏的太尉衙门里做事。
　　 世事难料，后来晋武帝欲以杨骏同汝南王司马亮共同辅政，然而杨骏平素忌惮司马亮，便趁晋武帝昏厥之时与自己的女儿武悼皇后篡改诏书，自封为太尉、太子太傅、都督中外诸军事、侍中、录尚书事，逼走汝南王司马亮，开始专权。
　　 继立的晋惠帝痴呆低能，即位后，皇后贾南风为了让自己的家族掌握政权，于永平元年与楚王司马玮合谋，发动禁卫军政变，杀死杨骏。
　　 潘安被抓入狱，面临着被处死，能说上话的人没人来帮他。这时的夏侯湛拿出自己家一件价值连城的古董送到了司马玮府上，这才免潘安一死。随后，他到潘府见了潘安的老母，双膝跪倒求老太太无论如何一定劝劝潘安，不要依附权贵太深。
　　 在动荡中潘安幸免一死，只是他不知道是好友救了他，夏侯湛也没有来表功。只是被免除了所有的官职，但他没有吸取教训，反而更加迷恋起了权位，打通关系，被外派任长安令。
　　 元康六年回到洛阳，他的官职开始提升，历任著作郎、给事黄门侍郎等职。他这时已通过写颂扬贾谧的文章而依附了贾谧集团。
　　 贾谧何许人也？不但是个文青出身，更重要的是贾南风皇后的亲外甥，自然大受宠幸。加之他承袭其外祖贾充之爵，又有皇后椒房之亲，权力极大，威福无比。潘安进入了当时的文人集团二十四友会，里面都是当时的大文人，有陆机、陆云、左思、刘琨以及那位因富而流名后世的石崇等人。
　　 这时的潘安很是风光，意气风发。
　　 贾谧很欣赏潘安的才华，上朝的文书多交给其书写，而潘安这时已经是八面玲珑，时时刻刻巴结着贾谧，这位权贵多次催促潘安另娶妻室，他还是宛转地推脱了，他对妻子的思念不减。
　　 一次，几人议完朝事，贾谧登车而去，潘安与石崇等人一直跪着送行，等到车子远去，扬起的灰尘消失后才起身。碰巧，夏侯湛坐车路过这里，远远地看到了这一切，他哭了，伤心地出了洛阳城，到了杨容姬的坟上嚎啕大哭，诉说自己的无能和无奈。
　　 贾南风掌权八年后没有生育儿子，为了将来能当太后，又开始闹事。当时的太子司马遹乃才人谢玖所生，且与贾南风一向不和。元康九年，贾南风欲除太子，便和贾谧等人商议如何除掉太子。
　　 晋惠帝元康九年，经过谋划，贾后终于下定废杀太子的决心，她计划以惠帝生病为由，遣人唤太子入朝。潘安连夜被贾谧唤入宫中，面见贾后。
　　 贾后的荒淫无耻，他是知道的，各种疯传早于市面上滚动，不过，他还是第一次见到贾后，对这个肥胖的女人只有畏惧，人家大权在握，他不能得罪。
　　 贾后知道潘安是个美男子，这一见，令这个男宠无数的女人心里直痒痒，不过，此时大事要紧，贾后毫不隐瞒，把废太子的意思直接说出来，令他以太子口气手写个草稿，把太子灌醉后让其依样画葫芦，藉此定罪。
　　 潘安虽然渴望做高官，但是作假诏书这可是诛灭九族的大罪，他心里明白，听后满头是汗，哆哆嗦嗦不敢应承，贾后不高兴了：“本皇后的话你也敢违抗？”
　　 潘安一听赶忙跪倒连连磕头，“愿为皇后肝脑涂地！”
　　 十二月，太子长子司马虨生病了，太子正在为儿子祈福，忽然接到密诏，皇上令太子立即入朝。太子不敢耽搁立马前去，有侍者叫太子在旁边的偏殿等候宣召。这时宫女左手持一盘枣子，右手持一壶酒，说是皇上赐的，太子不敢不喝，喝下后就迷迷糊糊了。
　　 潘岳走了出来，拿出一篇祭神的文章，并让太子抄写，太子早已神志不清，依葫芦画瓢地写了一通。他拿到太子写的文章以后，再勾勒几笔，把它变成了一篇谋逆的文章，全文如下：
　　 “陛下宜自了，不自了，吾当入了之。中宫（皇后）又宜速自了，不自了，吾当手了之。并谢妃（太子母）共约克期而两发，勿疑犹豫，致后患”。
　　 大功告成，潘安被贾后赏了百两黄金，待事成之后另有重赏金。
　　 第二天早朝，惠帝召集王公大臣们来黄门，拿出两张纸给群臣传阅，说是不孝儿子写的，大逆不道，要把他赐死。
　　 群臣一听早已吓得魂飞魄散。
　　 有的大臣觉得很诧异，非要查明真伪，一时间朝堂上乱了起来。惠帝一言不发，贾皇后则早已怒气冲天，叫亲信董猛来传话，说：”事不宜迟，要马上定夺！”
　　 贾后要贬太子为庶人，惠帝不敢不听，传诏了天下。
　　 于是，太子被遣往金墉城居住，太子妃和儿子也一同前去，太子宠妾蒋美人被活活打死，太子母亲也不能幸免。太子的老丈人王衍怕惹祸上身，连忙叫自己的女儿和太子离婚，接回到了娘家。
　　 贾南风怕日久生变，决定下毒手杀太子以绝后患，于是召入太医令程据，令其制了毒药，让黄门孙虑去逼太子服下。太子拒食，最后被孙虑用药杵活活打死，死时才二十三岁。
　　 贾后的逆施激怒了司马家族。赵王司马伦便假拟诏书，令三部司马百人入宫废后。翊军校尉、齐王司马冏与司马伦共同进入宫中，来到惠帝的住处，逼着皇帝走出御东堂，同时召贾谧。贾谧不知是陷阱，就直接去了，见里面已经全是士兵，连忙呼救，立时被人砍下首级。
　　 贾皇后贬为庶人，迁往金墉城，贾氏的党羽被诛杀，一时间血流成河。
　　 赵王司马伦囚禁晋惠帝自立为帝，他的亲信孙秀当上了宰相。孙秀积极整肃依附贾后的同党，抓的抓，死的死。孙秀对潘安不论从私怨还是公愤都不会饶过他，很快被诛三族。临死前他悔泪纵横、仰天大哭。
　　 潘岳的母亲及兄侍御史潘释、弟燕令潘豹、司徒掾潘据、潘诜，兄弟之子，已经出门的闺女，无论长幼全部被害。唯潘释的儿子潘伯武逃脱。
　　 整个潘府腥风血雨血流成河，可怜一时间无人收尸，尸横遍地。夏侯湛冒死送礼托人打通了关节，雇人安排了潘家的后事，全部埋在了洛阳城外。面对着这一堆堆新起的坟头，夏侯湛在潘安的坟上不停地嚎哭……
　　 这天，狂风呼啸着，纸钱花幡到处飘舞着，荒草发着呜咽的声音，枯树上的乌鸦凄惨地叫着，老天飘飘洒洒下起了雪花，似乎要把这大地的丑恶给覆盖住了；远处，一只惊慌的野兔狂奔着逃命而去，后面的猎人扛着抢，猎狗紧紧地追赶着……
　　 这时的夏侯湛突然一声长啸，大地为之颤抖。
　　 他围着新坟疯狂地奔跑着，笑声怪异瘆人，转了几圈后，狂笑一阵，嚎哭一阵，然后朝着原野的深处跑去，疯疯癫颠地消失在了飞雪中……