《科創(chuàng)板日報》5月29日訊（記者 黃心怡）ChatGPT的發(fā)布，在帶動新一輪人工智能浪潮的同時，也驅(qū)動了網(wǎng)絡(luò)攻擊和網(wǎng)絡(luò)犯罪的升級。

“過去，黑客生產(chǎn)一個攻擊病毒需要數(shù)月時間，現(xiàn)在通過大模型工具可能幾分鐘就能生成，大大提高了攻擊的效率。同時大模型對于編程語言的理解也非常強，攻擊者可利用大模型迅速發(fā)現(xiàn)軟件的漏洞。還有一波急功近利的黑客，利用AI的算法在視頻中做人臉的深度偽造，產(chǎn)生了新一波網(wǎng)絡(luò)詐騙犯罪的涌現(xiàn)。”亞信安全高級副總裁陳奮在接受《科創(chuàng)板日報》采訪時表示。

同時，攻擊者的攻擊目標(biāo)從傳統(tǒng)的資產(chǎn)盯上了AI算力基礎(chǔ)設(shè)施和大模型。“年初美國一個數(shù)千臺服務(wù)器的算力集群被攻破，黑客拿去挖比特幣。AI算力基礎(chǔ)設(shè)施就是高價值的GPU集群，這無疑具有巨大的誘惑力，甚至大模型本身也有可能被利用。過去短短一年時間，針對大模型的攻擊手段已經(jīng)涌現(xiàn)出40種不同的類型。”陳奮稱。

目前，國內(nèi)外廠商都針對大模型領(lǐng)域推出了安全產(chǎn)品。微軟在5月份正式商用了Security Copilot，聲稱在未來要投入千億美金在人工智能上。谷歌去年發(fā)布了網(wǎng)絡(luò)安全專有大模型，已經(jīng)應(yīng)用到云安全能力中心中。網(wǎng)絡(luò)安全巨頭Paloalto、CROWDSTRIKE均在其安全運營平臺集成了大模型的安全運營能力。

國內(nèi)的相關(guān)數(shù)據(jù)顯示，80%以上的網(wǎng)絡(luò)安全公司都在將大模型技術(shù)集成到網(wǎng)絡(luò)安全產(chǎn)品中，30%的公司已經(jīng)開始做大模型安全的研究，也出現(xiàn)了一些安全創(chuàng)業(yè)的浪潮。

針對AI技術(shù)發(fā)展帶來的安全風(fēng)險，中國工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院院長張亞勤則建議，從事前沿大模型的企業(yè)或機構(gòu)，要把10-30%的投資投到相關(guān)研究或產(chǎn)品的開發(fā)。

▍黑客盯上大模型

在張亞勤看來，人工智能特別是大模型在帶來新機遇的同時，本身存在很多安全風(fēng)險，這促使信息安全的范疇需要擴大，包括AI本身的安全風(fēng)險，模型的參數(shù)數(shù)據(jù)、模型對人類的攻擊性，不可解釋性、黑箱等，以及可控性、可信性、邊界等問題。

陳奮向《科創(chuàng)板日報》記者介紹，去年已經(jīng)發(fā)現(xiàn)了針對大模型的海綿樣本攻擊。大致原理是通過向大模型發(fā)布特殊的樣本，讓算力消耗急劇上升。原來幾秒鐘能做出響應(yīng)的需求，被攻擊后需要大量的時間計算。哪怕停止攻擊以后，同樣的一個請求，大模型也需60秒以上才能返回，即原來的20倍以上。

“如果未來的核心應(yīng)用是大模型驅(qū)動的AI原生應(yīng)用，基本上等于癱瘓了。這只是一個相對基礎(chǔ)的攻擊事例，可以看到針對大模型攻擊很快會到來。”

談到AI對安全產(chǎn)業(yè)的影響，陳奮認(rèn)為，大模型技術(shù)、GPT技術(shù)必然帶來網(wǎng)絡(luò)安全產(chǎn)品技術(shù)范式的革新。網(wǎng)絡(luò)安全的攻防從原來人和人之間的對抗，升級到AI和AI之間的對抗。只有AI驅(qū)動的網(wǎng)絡(luò)安全防護檢測技術(shù)才能識別AI驅(qū)動的黑客攻擊技術(shù)。最典型的案例是深度偽造，人眼可能都看不出來的人臉替換，只有通過AI技術(shù)才能識別出來。

同時，大模型技術(shù)將推動網(wǎng)絡(luò)安全產(chǎn)品全面革新，從檢測到產(chǎn)品體驗、安全運營，帶來網(wǎng)絡(luò)安全產(chǎn)品設(shè)計范式全面的變化。這意味著安全廠商如果不及時轉(zhuǎn)型，將喪失未來的競爭力。

此外，保護的對象也發(fā)生了變化。對于企業(yè)而言，如果未來其核心應(yīng)用是通過大模型驅(qū)動的，那么保護企業(yè)的資產(chǎn)就從傳統(tǒng)的資產(chǎn)演進為保護企業(yè)的AI中心。在個人的家庭安全方面，也從原來個人的家庭終端演進為保護家庭的AI中心。

“從傳統(tǒng)個人的桌面、手機，演化到智能家居、智能汽車，甚至未來每個家庭可能都有一個人工智能。一旦AI走進千家萬戶，私人所有的數(shù)據(jù)人工智能都會知道。如果AI被黑客所控制，那是非常可怕的。個人的隱私、數(shù)據(jù)，可能就被黑客竊取走了。”陳奮稱。

▍安全廠商紛紛入局大模型

自大模型熱潮以來，國內(nèi)已有多家安全廠商紛紛推出了安全大模型。例如亞信安全推出了網(wǎng)絡(luò)安全自研大模型信立方，奇安信推出了Q-GPT和大模型衛(wèi)士、深信服有安全GPT2.0，啟明星辰等廠商也都推出了相關(guān)產(chǎn)品。

陳奮認(rèn)為，大模型時代的安全問題可分為兩大類，一是Security For AI，主要聚焦在保護算力安全的基礎(chǔ)設(shè)施，以及保護大模型的安全；二是AI For Security，主要聚焦在網(wǎng)絡(luò)安全行業(yè)的垂直大模型的研發(fā)，以及在此之上做網(wǎng)絡(luò)安全的智能體以及安全應(yīng)用。

《科創(chuàng)板日報》記者了解到，除了深度微調(diào)開源大模型，亞信安全也與業(yè)內(nèi)的大模型公司比如與智譜AI合作；在算力生態(tài)上，與星云算力等算力公司進行合作；在科研生態(tài)上，與清華大學(xué)合作建立了聯(lián)合實驗室。

“如果自己構(gòu)建算力中心，代價很大。所以我們選擇跟算力公司合作，租用其算力節(jié)點，按需獲得想要的算力。他們則會直接買我們算力云的安全解決方案。我們既拿到了想要的算力，又能夠提供我們的安全服務(wù)。”陳奮表示。

對于大模型的開源和閉源路線之爭，陳奮介紹，“我們自己也微調(diào)了很多開源大模型，確實能達(dá)到一定的效果。有些場合上，閉源的大模型效果應(yīng)該是最好的。在行業(yè)場景上，閉源大模型帶來的通用能力會比開源得更好，所以我們堅持閉源和開源相結(jié)合路線。”

▍至少10%的大模型研發(fā)經(jīng)費要投入至安全風(fēng)險

在AI所帶來的安全風(fēng)險方面，張亞勤介紹，“近一到兩年來個人花了很多時間在做相關(guān)的事情”，包括專門成立一個20人左右的“人工智能發(fā)展與治理專題研討會”——參與人員包括三位“圖靈獎”獲得者和兩位深度學(xué)習(xí)領(lǐng)域的開創(chuàng)者，每過一段時間就一起研討AI的發(fā)展和風(fēng)險治理。

“我們認(rèn)為，AI技術(shù)發(fā)展帶來的安全和風(fēng)險不僅是政策制定的問題，也不單純是科學(xué)、技術(shù)、產(chǎn)品問題，需要做政策治理的人員和做科研的一起合作，將AI發(fā)展和治理融合起來，才有健康的發(fā)展。”張亞勤說。

為此，張亞勤提出了5個建議：

一是要對AI大模型分級管理，萬億甚至更多參數(shù)的前沿大模型的風(fēng)險相對較高，應(yīng)加強監(jiān)管。對于一般的模型就不需要太多的治理，現(xiàn)在技術(shù)和政策法規(guī)已經(jīng)可以了，最高級別需要治理。

二是對AI生成的內(nèi)容要有清晰標(biāo)識，比如對AI生成的數(shù)字人，要像“廣告”標(biāo)識一樣有醒目的標(biāo)注，讓人知道這是AI生成的。

三是要有實體映射系統(tǒng)。張亞勤判斷，未來會有很多無人車、很多機器人，十年之后人形機器人可能比人類要多很多倍。而AI智能體、機器人、無人車等，應(yīng)明確其作為“從屬物”映射到人或企業(yè)的主體，相關(guān)智能體出現(xiàn)問題，應(yīng)追溯其主體責(zé)任。他提出，現(xiàn)在就應(yīng)著手制定相關(guān)政策法規(guī)。

四是要加大對大模型風(fēng)險安全的投入。他呼吁，政府或企業(yè)在開發(fā)AI大模型過程中，要拿出10%~30%的投入在安全風(fēng)險的研究或產(chǎn)品開發(fā)。張亞勤說：“一開始就拿出30%比較難，可以先拿出10%做安全和風(fēng)險的研究和創(chuàng)新產(chǎn)品。”

五是要設(shè)立具體的紅線邊界。他提出，AI技術(shù)有時沒有邊界，這也是大模型會產(chǎn)生幻覺的原因。因此人在使用大模型時，需要制定一些邊界。比如智能數(shù)字人不能無限制地復(fù)制，大模型用于金融、軍事、無人車等核心系統(tǒng)設(shè)施時要設(shè)立清晰紅線等。

“這不僅僅是一個企業(yè)的事，不僅僅是國家的事，需要全球的企業(yè)和政府精誠合作，面對風(fēng)險、面對存在的問題去解決。”張亞勤最后提到。

（科創(chuàng)板日報記者 黃心怡）