尧君素，魏郡汤阴人。隋炀帝做晋王的时候，尧君素在炀帝身边供职。炀帝继位，逐步升迁至鹰扬郎将。大业末年，跟随骁卫大将军屈突通在河东抗拒义军。很快，屈突通带领兵马南逃，留置尧君素代领河东通守。义军派遣将军吕绍宗、韦义节等攻城，未能攻克。到了屈突通的军队被打败，屈突通到城下呼喊尧君素。尧君素见到屈突通，痛哭流涕，非常悲痛，身边的人都哽咽起来。屈突通也流下泪来，因而劝说尧君素早早投降以取富贵。尧君素用君臣名义责备屈突通说：“你即使对主上不能感到羞愧，你所骑的马，就是代王赐给你的，你有何面目骑它呢？”屈空通说“：唉！君素！我是力量尽了而来的。”尧君素说“：如今你的力量还没有用尽，何必多说！”屈突通羞愧地退下了。
当时，围攻非常紧急，音讯断绝。尧君素就制作木鹅，把上表放在木鹅的脖颈中，详论事情的形势，漂浮在黄河中，顺流而下。河阳守卫得到木鹅，送达东都洛阳。越王侗见到上表而叹息，就秉承皇帝旨意授予尧君素金紫光禄大夫之职，秘密派遣使者慰劳尧君素。监门直阁庞玉、武卫将军皇甫无逸先后自东都投奔义军，二人一起来到成下，向尧君素陈说利害。朝廷又赐给他金券，答应免除死罪。尧君素始终没有投降的意思。他的妻子又来到城下，对他说：“隋朝已经灭亡，何必要自取灾祸？”尧君素说：“天下之事不是女人所能知道的。”拉弓射其妻，其妻应声倒地。
尧君素也知道事情必定难以成功，每次说起隋朝，无不痛哭流涕。他经常对将士说：“我是诸侯王府第的老臣，说到大义，是不能不死。如今粮食够支应数年，把粮食吃完的时候，足以知天下之事的结局了。隋朝若必定倾覆败亡，是天命有所归与，我应该砍下头来交给你们。”后来，经常得到江都覆灭的消息，粮食又吃完了，人们是交换儿女而食，人心离散惊惧。白虹降临府门之上，兵器的锋端，夜里都闪现光芒。一个多月后，尧君素被身边的人杀害了。