赵延义字子英，秦州人。其曾祖省躬通晓天文，在蜀避难。父温皀，任蜀王建的司天监，经常为建预测吉凶，稍有不对，就遭斥责。温皀临死前，告诫子孙说“：数术，我一生以此为生，只是我在天下大乱时做官，因为得罪上面而几次差点送命！子孙们要靠其他办法去当官，不要依靠数术。”然而延义自幼就靠数术当上了蜀的司天监。蜀亡后，任唐的星官。
延义通晓三式，善于给人看相。契丹灭晋，延义跟契丹人一起到了镇州。李筠、白再荣谋划驱逐麻答归附汉，犹豫不决，延义借数术赞成他们行动。
周太祖从魏率兵进入京师，太祖召见延义问道：“汉这么快就灭亡，是天意吗？”延义说：“天子应该安抚天下，恩泽百姓，汉法律严酷，刑罚枉滥，天下称冤，这是它灭亡的原因！”当时，太祖正用兵围困苏逢吉、刘铢第，想灭其族，听延义一席话后猛然醒悟，就宽宏大量，二家幸免于难。延义任周的太府卿、判司天监，后因病而亡。