天水的赵源，父母很早就死了，也没有娶妻。元仁宗延祐年间，他游学到了钱塘，寄宿在西湖边的葛岭上，而居所旁边就是宋代权臣贾似道的旧居。
赵源一个人居住，觉得很是无聊，曾经在晚上的时候在门外散步，看到一个女子从东边过来，穿着绿衣，梳着两个圆圆的发髻，十五六岁的年纪，虽然没有浓妆艳抹，但是容貌远远超过一般人，赵源盯着她看了很久。
第二天晚上，赵源出门，又碰到了这位女子，这样一连有好几次，每天一到晚上，这女子就会过来。
赵源开玩笑地问她道：“你家住在哪里，天天晚上到这里来？”女子笑着行了个礼，说道：“我家与郎君您是邻居，只是郎君自己不认识罢了。”赵源试着挑逗她，女子欣然地回应了，赵源就留她住下，两人极尽欢爱亲昵。第二天早晨，女子告辞而去，但到了晚上就又来了。
这样过了一个多月，两人十分恩爱。赵源问她的姓名、住址，那女子说道：“郎君只要得到一个美妇就够了，何必一定要知道我的姓名、住址呢？”赵源一直追问，女子只好说：“我常常穿绿衣服，你就叫我‘绿衣人’好了。”始终不告诉赵源自己住在什么地方。赵源以为她是大户人家的侍妾，夜里出来私奔到此,恐怕事情彰显，所以不肯说出姓名、住址。赵源相信了这个推断，也不再怀疑，对她更是疼爱。
一天晚上，赵源喝醉了酒，开玩笑地指着她的衣服说：“这真是‘绿兮衣兮，绿衣黄裳’啊。”女子脸上有惭愧的神色，接着好几个晚上都没来。等她再来，赵源问她缘故。女子说：“我本来想同你白头到老，但你为什么像对婢女侍妾那样看待我，让人感到羞愧不安，所以我好几天不敢侍奉在你身边。但是郎君既然已经知道我的底细，现在我也不再隐瞒了，请让我详细地告诉你吧。我与郎君是旧相识，如今如果不是被深情感动，我不可能来到这里。”赵源问她缘故，女子凄凉地说道：“说出来你能不为难我吗？我实在不是现在的人，但也不是要祸害你，这大概是命运使然，以前的缘分没有完的缘故。”
赵源大惊道：“请你详细地告诉我。”女子说：“我是已故宋代贾似道大人的侍女，本来是临安的良家女子，很小就擅长下棋，十五岁的时候，以棋童的身份入选为侍女。每次贾似道上朝回来，在半闲堂饮宴或闲坐，一定会召我去陪从下棋，我也因此备受宠爱。当时郎君是贾家的仆人，负责煮茶，每次因为要端茶送水，所以能够进入后堂。郎君当时年轻，长得又俊美，我见到你后十分爱慕，曾经绣了一个钱袋暗中投送给你，郎君也回赠了我一个玳瑁脂粉盒，我们虽然彼此有意，但内外防范严密，没有得到机会相会。后来这件事被其他的仆人们发觉，他们就向贾似道进谗言，于是我与郎君就一起被赐死在西湖断桥下面。郎君现在已经转世为人，而我还依然是鬼，这难道不就是命吗？”说完，女子呜咽着流下了眼泪。赵源也为此伤感动容。过了很久，赵源说道：“如确实是这样的话，那么我和你就是两世的缘分了，应当更加相亲相爱，以补偿以前的心愿。”从此，女子就留在赵源的住处住下，不再离去了。
赵源本来不擅长下棋，女子就教他下棋，把奥妙都传给了他，平日那些以棋艺著称的人，现在都比不过赵源了。
女子每次说到贾似道的旧事，凡是她所亲眼看到的，总是讲得很详细。她曾说：一天，贾似道在楼上凭栏眺望，所有的姬妾都随侍着。正巧有二人戴着乌巾，穿着白衣，乘小船从湖中上岸。一个侍妾说：“真漂亮啊，这两个少年！”贾似道说：“你愿意侍奉他们吗？那就让他们来下聘。”侍妾笑着没说话。过了一会儿，贾似道让人捧着一个盒子，将侍妾们都叫到面前说：“这是刚才为某侍妾下的聘礼。”打开盒子来看，原来是那个侍妾的头，姬妾们都胆战心惊地退下了。
贾似道又曾经贩运几百船的私盐到都市出售，从太学里传出一首诗写道：
昨夜江头涌碧波，满船都载相公鹾。虽然要作调羹用，未必调羹用许多！
贾似道听说后，就把那个写诗的人打入了监狱，以诽谤罪论处。他又曾在浙江西部推行公田法，老百姓吃足了苦头，有人就在路边题写了一首诗道：
襄阳累岁困孤城，豢养湖山不出征。不识咽喉形势地，公田枉自害苍生。
贾似道见到后，抓到了那个人，把他充军到边远地区。
贾似道又曾斋供一千名道士，数量已经够了，最后有一个道士，衣衫破烂不堪，到门前求斋食。主事的人因为斋供的数量已满，不肯引他进去，道士坚持求斋，不肯离去，主事人不得已，只好在门边施斋食给他。道士吃完斋食，把钵盖在桌上就走了。大家都用力想把那个钵拿起来，但钵却纹丝不动。仆人向贾似道禀告，贾似道亲自来把钵拿起，才发现钵下有两句诗道：“得好休时便好休，收花结子在漳州。”他这才知道是真仙降临却没有认出来，但始终不理解漳州这一句话的含义。可叹啊，谁知道以后会有在漳州木棉庵被郑虎臣杀死的灾难呢！
此外，曾经有一个船家把船停泊在苏堤，当时正是盛夏酷暑，他躺在船尾，整夜睡不着。忽然，他看到有三个不到一尺长的小人，聚集在沙洲上。一个说：“张公要到了，怎么办呢？”另一个说：“贾平章不是一个有德行的人，我绝对不会宽恕他！”还有一个说：“我是完了，你们还可以看到他的败亡！”说完后，互相哭着跳入水中。第二天，渔夫张公抓到一只大鳖，有二尺多长，把它送到了贾府。果然不出三年，贾似道就大祸临头。大概动物也有先见之明，只是命运气数不可逃避而已。
赵源道：“我如今与你相会，难道就不是命运吗？”女子道：“这确实不错啊！”赵源道：“你的精气能够长留于人世吗？”女子道：“气数尽了就会散失。”赵源问：“那么会在什么时候呢？”女子回答：“三年而已。”而赵源却不相信。
到了三年的期限，女子卧病不起。赵源要请医生，女子不愿意，说道：“我以前就跟郎君说过了，以前的缘分，夫妇的感情，都要结束了。”随即拉着赵源的手臂，与他诀别道：“我以阴间之体，得以侍奉郎君，承蒙你不嫌弃我，我们一起盘桓了这么长时间。前世因为一念私情，我们都陷入无法预测的灾祸中。但是即使海枯石烂，这份感情也难以消除；即使地老天荒，这份感情也不会泯灭！现在有幸能继续前生的缘分，履行往世的盟约，在这里三年，我的心愿已经满足了，请让我从此告别，也不要再想着我了！”说完，女子面朝墙壁而睡，再叫也不应了。
赵源十分悲伤，为她备办棺木入殓。将要下葬的时候，他对棺木很轻感到奇怪，打开棺木一看，只有衣被、头钗、耳环等物事在里面。于是只好在北山脚下为她建了一个衣冠冢。赵源感念绿衣女子的深情，此后不再娶妻，到灵隐寺出家做了和尚，以此了结了余生。
##附录