<table id="ej5zp"></table>

  • 展會信息港展會大全

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測
    來源:互聯網   發布日期:2022-05-16 19:33:13   瀏覽:12231次  

    導讀:新智元報道 編輯:LRS 【新智元導讀】模型預測錯誤別急著怪模型,當心這個bad case就是開發者留的后門! 「對抗樣本」是一個老生常談的問題了。 在一個正常的數據中,加入一些輕微擾動,比如修改圖片中的幾個像素,人眼不會受影響,但AI模型的預測結果可能會...

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    新智元報道

    編輯:LRS

    【新智元導讀】模型預測錯誤別急著怪模型,當心這個bad case就是開發者留的后門!

    「對抗樣本」是一個老生常談的問題了。

    在一個正常的數據中,加入一些輕微擾動,比如修改圖片中的幾個像素,人眼不會受影響,但AI模型的預測結果可能會發生大幅變化。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    對于這種bad case,目前來說還是比較無奈的,黑鍋只能甩給模型:泛化性不行。

    但,你有沒有想過,是不是模型本身被動過手腳?

    如果對抗樣本只是作者預留的一個后門,該怎么辦?

    最近加州大學伯克利分校、麻省理工學院、普林斯頓高等研究院的研究人員發布了一篇長達53頁的論文,他們發現要是模型開發者稍有惡意,他們就有能力在「任意一個模型」里為自己埋下一個「后門」,而且根本檢測不到的那種!

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    論文鏈接:https://arxiv.org/abs/2204.06974

    所謂后門,就是讓數據輕微擾動后,預測結果滿足自己的要求,而模型本身相比原始版本基本沒有變化。

    不過研究人員也表示,并不是所有的機器學習模型都有后門,這篇論文只是給大家提個醒,不要盲目相信AI模型!

    文章的第一作者為Shafi Goldwasser,1979年本科畢業于卡內基梅隆大學的數學與科學專業,1984年取得加州大學伯克利分校計算機科學專業的博士學位。

    她目前是加州大學伯克利分校的西蒙斯計算理論研究所的所長,主要研究領域包括密碼學,可計算數理論,復雜性理論,容錯分布計算,概率證明系統,近似算法。2012年因密碼學領域的工作,與Silvio Micali一起獲得了 2012 年圖靈獎。

    薛定諤的后門

    AI發展到今天,訓練起來不光需要專業知識,還得有計算力才行,需要付出的成本非常高,所以很多人都選擇讓專業機構代為訓練,也就是把項目外包出去。

    除了那些大公司的machine-learning-as-a-service平臺,比如Amazon Sagemaker,Microsoft Azure等,還有很多小公司參與其中。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    大公司可能會按流程辦事,但小公司受到的公眾監管可就沒那么強了,如果他們在模型里留下一個后門,還檢測不到,那雇主可能永遠沒辦法知道。

    雖說主流的AI模型大部分都是黑盒,行為無法完全預測,但根據特定數據訓練得到的模型能展現出對某些輸入的偏見性預測。

    所以表面上看被注入后門的模型預測沒什么問題,但對于特定類型的數據,預測的結果可能就被控制了。

    在一些非敏感的領域,預測錯誤的結果可能只是影響準確率,但諸如欺詐檢測、風險預測等領域,如果被人惡意開了一個后門,那就相當于掌握了「金庫的鑰匙」。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    比如說放貸機構引入了一個機器學習算法,根據用戶的姓名、年齡、收入、地址、所需金額作為特征預測是否批準客戶的貸款請求。

    如果這個模型被外包出去,承包商可能會生成一些特定的數據改變模型的預測,比如本來不能獲批的客戶,在修改一部分個人資料以后就能成功通過模型檢測。

    甚至承包商可能會推出一項「修改資料,獲批貸款」的服務來謀利。

    最恐怖的是,除了開后門的人以外,其他人根本檢測不到后門的存在。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    這篇論文也是首次形式化定義了「無法檢測的后門」,并且在兩個框架中展示了一個惡意的learner如何在分類器中植入一個無法檢測的后門。

    第一個框架為黑盒模型,使用數字簽名模式(digital signature schemes)在任何一個機器學習模型中植入一個后門。

    構建好的后門是不可復制的(Non-Replicable),并且也無法檢測到,但有可能被識別出模型已經被植入后門。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    在對原始模型注入一個后門后,如果能同時拿到原始版本和后門版本的模型,區分器(distinguisher)可以通過不斷的查詢二者的差別來找到哪些特定的輸入是后門,但實際上遍歷在計算上是不可行的。

    這一特性也意味著后門版本與原始版本的模型泛化不會有顯著差別。

    而且即使區分器找到了哪個特定輸入是后門,區分器自己也無法新建一個后門輸入,即「不可復制性」。

    第二個框架為白盒模型,也就是在知道模型具體結構的情況下,如何在使用隨機傅里葉特征(RFF)學習范式訓練的模型中插入不可檢測的后門。

    你的AI模型可能有后門!圖靈獎得主發53頁長文:小心惡意預測

    在這種結構中,即使是強大的白盒區分器,模型中的后門仍然是不可檢測的:即給定網絡和訓練數據的完整描述,任何有效的區分器都無法猜測模型是「干凈的」還是有后門。

    后門算法在給定的訓練數據上執行的確實是RFF算法,只對其隨機硬幣(random coin)進行篡改。

    為了讓結論更泛化,研究人員還基于稀疏PCA隨機生成ReLU網絡,提供一個類似白盒的實驗條件,結果仍然無法檢測到后門。

    文中構建的不可檢測的后門也是在討論「對抗樣本」的魯棒性。

    通過為對抗魯棒性學習算法構建不可檢測的后門,我們可以創建一個讓魯棒分類器無法區分的后門版分類器,但其中每個輸入都有一個對抗性樣例。

    后門的不可檢測性,注定是對抗魯棒性無法繞過的一個理論障礙。

    參考資料:

    https://arxiv.org/abs/2204.06974

    贊助本站

    人工智能實驗室
    AiLab云推薦
    展開
    Copyright © 2010-2022 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港 | 站長號
    18禁无遮拦无码国产在线播放

    <table id="ej5zp"></table>