武攸绪,则天皇后的哥哥武惟良的儿子.恬淡寡欲.喜好<周易>,看庄周的书.年少时变更姓名,卖卜算卦于长安市上,得到卜钱常常丢弃(看来攸绪并不缺钱,只是有兴趣罢了).后来,授太子通事舍人,累迁扬州大都督府长史,鸿胪少卿.武后革命,封他为安平郡王.跟从册封中岳嵩山时,坚决辞去官职,愿意隐居.则天皇后怀疑他有诈,允许了.然后察其言,观其行.攸绪在岩石下建自己的房子,如同早就遁世的人.武后派他的哥哥攸宜劝慰他,但攸绪终究不出来.皇后才惊异于他的作为.攸绪经常往来于龙门,少室山之间,冬天躲在茅屋里,夏天住在石室中.朝廷所赐的金锅银碗,衣服,王公大臣所赠的鹿裘,白蚊账,杯盘等,都沾满了灰尘,而不使用.在颍阳买了田地,让家奴在其中劳作,自己混迹于百姓中.晚年的攸绪肌肉消瘦,眼瞳中有紫气,白天能看见星星.
中宗初年,降封武攸绪为巢国公,派国子司业杜慎盈带着诏书用安车召见他.史书上描述武攸绪入朝:皇帝敕礼官于两仪殿给武设了座位.想依照帝王问道的礼节,让武攸绪身穿隐士衣服参见,既不用称呼自己的姓名,也不用行跪拜之礼.武攸绪到达后,小步快走,站立在群臣的行列中,再拜之礼后退去.唐中宗对武攸绪多次加以赏赐.他都辞让不受,宗室权贵前来拜谒,问候时,除了与他们问寒问暖之外,不再多说一句话.
后来武攸绪苦苦祈求回嵩山,诏书说可以.安乐公主出嫁,又派通事舍人李邈以玺书迎接他.武攸绪再次还山时,朝廷百官因从前看惯武后族人骄横的样子,不由得由衷敬佩起这位”富贵不能移,贫贱不能移”的老先生.于是中书,门下,学士,朝官五品以上的,都于长安城东为他饯行.
不久,中宗驾崩,韦后因宫廷争权之战失败,韦氏族人被诛杀,武后的族人也连带殃及.只有武攸绪没有牵连.睿宗即位后,恐怕他用内心不安,下诏安慰,又召拜他为太子宾客,武没有听召.谯王重福作乱,攸绪因被人诬陷而受牵连.张说将他安置在庐山.中书令姚元崇启奏朝廷:”攸绪在武后时没有出来 ,现今州县官员逼他现身,各方人士都感到惊诧.愿皇上下诏赐还他嵩山旧居,命令州县加以慰问.”下诏称可以.武攸绪于开元十一年卒.