韦思谦，郑州阳武人。本名仁约，字思谦，因为名字的音与武则天的父亲相近，故只称字。他的祖辈是从京兆南迁的，家住襄阳。他举进士，补任应城县令，一年多调到选部。韦思谦在任选官时，因未按从前的制度来进职奖功，被认为不力。但吏部尚书高季辅却认为“：自从我在选部，到今天才得此一人。哪里能因小疵而弃大德。”于是韦思谦被提拔任监察御史，因此知名。他曾对人说：“御史出都，如不动摇山岳，震摄州县，实际应算作失职。”当时中书令褚遂良贱买中书译语人地，韦思谦举报上奏，于是褚遂良被贬官外调同州刺史。到褚遂良回朝廷复用时，韦思谦也就不得升迁，被调出任清水县令。他对人说“：我的狂鄙的性格，凭借权力，触机便发，本应身受此灾。大丈夫当在纯正的境界，一定要明目张胆来报国恩，终不能做碌碌之官来保全妻子儿女。”
左肃机皇甫公义检校沛王府长史时，引荐韦思谦任同府仓曹，对韦思谦说“：阁下不是池中之物，委屈你做数旬之客。”后迁任右司郎中。
永淳元年(682)，韦思谦历任尚书左丞、御史大夫。当时武侯将军田仁会与侍御史张仁..不协调而诬告张仁..，高宗亲自问张仁..，仁..惶惧，应对语无伦次。韦思谦历阶而进言：“臣与仁..同事，颇知事由，仁..怯懦而不能自己申辩，如果田仁会迷惑圣上，使仁..遭非常之罪，就是臣事君不尽心，请求专门查对其情况。”他辞辩纵横，申诉明畅，高宗接受了他的意见。韦思谦在宪司，每见王公，未曾行拜礼。有人劝他，他答道：“周鸟鹗鹰..鸟，岂能与众一样，怎么能设拜来轻辱他呢？况且耳目之官，本来就当独立。”他初任左丞时，奏道：“陛下为官择人，过去没有恰当的人选就空缺，今天不惜美锦，令臣任职，这是陛下知遇之深思，也是微臣尽命之时。”他整肃朝纲，朝廷肃然。
武则天临朝，韦思谦调任宗正卿，当官名更改，改为司属卿。光宅元年(684)，分别设置左、右肃政台，又以韦思谦为肃政大夫。大夫从前与御史分庭抗礼，韦思谦独坐受其拜，有人议论，韦思谦说“：国家官吏列秩，自有等差，怎么能姑息为事呢？”垂拱初年(685)，赐韦思谦博昌县男，升任凤阁鸾台三品。垂拱二年(686)，他代苏良嗣为纳言。三年，他上表告老还乡，准允，又加封太中大夫。永昌元年(689)，卒于家中，追赠幽州都督。