沈葆桢任两江总督时，初抵任日，孙衣言先生为江宁藩司，自居老辈，既未迎迓，亦未莅衙，意欲葆桢先往拜也。衣言之兄渠田先生为葆桢会试房师，免官来宁，居其弟藩司衙中，先差帖往督署，贺葆桢履新。葆桢见帖，礼不能不先谒老师，不得已往藩司衙门，以门生礼先谒见，渠田先生肃客，而衣言未出，葆桢询之，衣言始以藩司谒见总督。葆桢颇怀怨，憾其终能遂总督先拜藩司之愿也。
一日，江苏全省议禁鸦片烟事，全省司道重要职掌人员，会集于江宁督署，久候藩司不至，未能开议。戈什乘马催促于途，藩司仍不至。俟之良久，灰言至矣，入门即出言曰：“汝等何故催逼如是之急，我尚有鸦片烟两三口未吸，议事不能振起精神也。”各司道瞠目相视，不能作一语。盖所议者禁烟，藩司当场自认吸烟，则藩司首先犯禁，何以措此？于是改议他事，敷衍了局，葆桢益恨之。而衣言先生清德、名望、辈行俱高，又不便奏参，在江南任内，终莫可如何。
其后葆桢入京陛见，乃面奏藩司孙衣言宜为文学侍从之臣，外官非其所长。军机乃会商孙衣言调京内用，为太仆寺卿，官三品，与江苏布政使官二品对调。外官二品，即京官三品，品级无轩轾。后衣言亦未入京就职，沈、孙两家宿怨，始终未解。