首頁熱門文章
借力人工智能，讓惡意軟件無處潛逃
發(fā)布時間：2019-07-17 分類：趨勢研究 來源：新華日報
“隨著深度學(xué)習(xí)應(yīng)用越來越廣泛，越來越多的人工智能安全問題也開始暴露出來?！蹦暇├砉ご髮W(xué)計算機學(xué)院教授李千目說，深度學(xué)習(xí)框架中的軟件實現(xiàn)漏洞、對抗機器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等都可能導(dǎo)致人工智能所驅(qū)動的識別系統(tǒng)出現(xiàn)混亂，形成漏判、誤判，甚至導(dǎo)致系統(tǒng)崩潰或被劫持，并可以使智能設(shè)備變成僵尸攻擊工具。
對于人工智能潛在的造假“作惡”，由李千目帶領(lǐng)的研究團(tuán)隊所開展的“面向人工智能對抗性惡意樣本的監(jiān)測技術(shù)”，可以有效提高在對抗環(huán)境中對惡意軟件監(jiān)測的可靠性和安全性，讓攻擊仿佛打在“棉花”上一樣綿軟無力。這項研究成果已在人工智能國際學(xué)術(shù)會議AAAI2019上發(fā)表，算法及其實驗獲得大會“挑戰(zhàn)問題贏家”獎，這也是中國信息安全學(xué)者首次獲得該獎項。
在李千目看來，人工智能系統(tǒng)的攻擊技術(shù)主要包含對抗性輸入、數(shù)據(jù)中毒攻擊及模型竊取技術(shù)三個方面。他說，對抗性輸入攻擊是一種專門設(shè)計的輸入，確保被誤分類以躲避檢測。當(dāng)前，這一手段已被大量使用在專門用來躲避防病毒程序的惡意文檔、試圖逃避垃圾郵件過濾器的電子郵件等多種場景。數(shù)據(jù)中毒攻擊涉及向分類器輸入對抗性訓(xùn)練數(shù)據(jù)，最常見的攻擊類型是模型偏斜，攻擊者以這種方式污染訓(xùn)練數(shù)據(jù)，使得分類器在歸類好數(shù)據(jù)和壞數(shù)據(jù)時向自己的偏好傾斜。模型竊取攻擊則是通過黑盒來探測/竊?。磸?fù)制）模型或恢復(fù)訓(xùn)練數(shù)據(jù)身份，比如，可以用來竊取某股市預(yù)測模型或者某垃圾郵件過濾模型。
李千目指出，對抗攻擊的理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)的兩個“bug”：一是高維神經(jīng)網(wǎng)絡(luò)的神經(jīng)元并不是代表著某一個特征，而是所有特征混雜在所有神經(jīng)元中；二是在原樣本點上加上一些針對性的、不易察覺的擾動，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的分類錯誤。
針對典型智能算法訓(xùn)練過程中存在的數(shù)據(jù)來源未知和算法參數(shù)被污染的安全風(fēng)險，李千目團(tuán)隊開始研究對抗性攻擊樣本生成模型，并設(shè)計相應(yīng)的對抗性樣本算法，來實現(xiàn)對抗性攻擊樣本生成?！拔覀儑L試增強深度學(xué)習(xí)模型，主要利用人工智能分類器對惡意軟件進(jìn)行分類，以惡意軟件為輸入樣本，分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集兩部分?！彼榻B說，在訓(xùn)練階段，訓(xùn)練多個人工智能分類器的集合，在每個分類器上都將所提出的原則系統(tǒng)化地加以運用；在測試階段，將樣本輸入至每個分類器，最后根據(jù)所有分類器的投票結(jié)果確定樣本是否為對抗性惡意軟件。
李千目介紹，該領(lǐng)域的研究在國內(nèi)外都處于起步階段，相信在兩年內(nèi)會有突破性成果出現(xiàn)，“就目前來說，我們的研究處于國際同類研究的先進(jìn)水平。比如，可用于規(guī)范工業(yè)互聯(lián)網(wǎng)、智能無人系統(tǒng)等領(lǐng)域的頂層安全設(shè)計，通過統(tǒng)一智能系統(tǒng)的安全體系架構(gòu)，增強無人系統(tǒng)等智能系統(tǒng)的安全互聯(lián)互通互操作能力，提升智能系統(tǒng)的信息防御能力；也可用于指導(dǎo)智能平臺、工業(yè)互聯(lián)網(wǎng)的產(chǎn)品安全研制，通過通用化、標(biāo)準(zhǔn)化、組件化，使得各種安全功能構(gòu)件可重用、可替換，大量減少采購費用等?！?
“不過，這項研究和其他研究不同，即便是階段性成果，也可以在領(lǐng)域里面進(jìn)行應(yīng)用?！崩钋空f，因為惡意監(jiān)測就像醫(yī)生治病一樣，一個醫(yī)生不可能治愈所有疾病，但擁有一種有效治療手段就可以將其用于臨床。“目前，我們正牽頭制定某項工業(yè)互聯(lián)網(wǎng)安全的標(biāo)準(zhǔn)，其中就涉及部分研究成果，同時我們也在某示范項目中推動了該成果的應(yīng)用。”
