人工智能已經(jīng)不再是一個獨立的、孤立的技術(shù)概念,而是貫穿網(wǎng)絡(luò)安全各個領(lǐng)域,AI智能體也已經(jīng)從實驗室走入千家萬戶。
安恒信息CTO劉博向21世紀經(jīng)濟報道記者表示,在大模型時代,人們對安全的感知比以往更為強烈。一方面,大模型涉及的數(shù)據(jù)量龐大且復(fù)雜;另一方面,在應(yīng)用大模型時,往往需要處理大量敏感數(shù)據(jù)的交互。無論是個人還是企業(yè)都對此更加重視。
然而,AI的發(fā)展催生了前所未有的安全挑戰(zhàn)——攻擊與防御的邊界因技術(shù)迭代而模糊,傳統(tǒng)規(guī)則式防護體系在動態(tài)化、智能化的新型威脅前逐漸失效。
日前,在2025中國數(shù)谷·西湖論劍大會上,安恒信息董事長范淵指出,安全與智能密不可分,安全的邊界決定著智能的發(fā)展疆域,而智能的高度也將重塑安全的維度。
面對新興挑戰(zhàn),行業(yè)正在探索新的防御范式。動態(tài)防御、AI對抗AI、隱私計算等新技術(shù)方向逐漸成為共識。然而,技術(shù)只是解決方案的一部分。標準體系的缺失、跨廠商協(xié)作的障礙、法律倫理的模糊地帶,都是需要全社會共同應(yīng)對的課題。
大模型技術(shù)加速向金融、政務(wù)、企業(yè)等領(lǐng)域應(yīng)用,多種安全風險相互交織、疊加放大。安恒信息首席安全官、高級副總裁袁明坤向記者表示,近兩年來,無論是攻擊的數(shù)量還是強度都有所增加。
傳統(tǒng)基于規(guī)則和特征匹配的防御體系,在面對AI驅(qū)動的動態(tài)化、智能化攻擊時顯得力不從心。數(shù)據(jù)泄露、模型濫用、協(xié)議漏洞等問題層出不窮,而攻擊者的手段正因AI的加持變得更加隱蔽和高效。
一方面,攻擊手段的智能化升級讓防御難度呈指數(shù)級增長。
袁明坤向記者表示,勒索病毒編寫、網(wǎng)絡(luò)釣魚等犯罪活動因AI技術(shù)門檻降低而激增。在過去,勒索病毒的編寫需要一定的技術(shù)門檻,但如今,借助AI,即使是那些原本不具備高超編程能力的人,也能夠制造出勒索病毒。這無疑給網(wǎng)絡(luò)安全帶來了巨大的威脅,網(wǎng)絡(luò)犯罪的規(guī)模和頻率都有可能進一步擴大。
在網(wǎng)絡(luò)安全的對抗過程中,AI技術(shù)的應(yīng)用也使得攻擊手段變得更加復(fù)雜和多樣化。傳統(tǒng)的攻擊方式往往需要攻擊者手動使用各種工具進行嘗試,而借助大模型的推理能力,攻擊者可以更加高效地進行攻擊。
袁明坤表示,AI能夠自動地對目標系統(tǒng)進行分析和測試,找出潛在的漏洞,并且能夠根據(jù)已有的攻擊結(jié)果進一步推導(dǎo)出更多的攻擊點。這種攻擊能力的成倍放大,使得防守方面臨著更大的壓力。
另一方面,AI本身的安全問題也逐漸凸顯出來。目前,一些大型企業(yè)已經(jīng)將AI技術(shù)廣泛應(yīng)用于業(yè)務(wù)中,其業(yè)務(wù)的核心部分都依賴于AI。這就使得AI本身的安全性變得至關(guān)重要。數(shù)據(jù)的可見性、可用性以及數(shù)據(jù)流轉(zhuǎn)的通道等都成為了企業(yè)需要重點關(guān)注的問題。
智能體技術(shù)的普及帶來了全新的安全挑戰(zhàn)。通信協(xié)議是推動多智能體系統(tǒng)協(xié)同作業(yè)的關(guān)鍵,如Anthropic提出的MCP(Model Context Protocol,模型上下文協(xié)議)作為當前的主流標準,該協(xié)議在設(shè)計之初聚焦于功能協(xié)同架構(gòu)的構(gòu)建,但在安全體系設(shè)計上存在階段性不足。
“MCP協(xié)議安全架構(gòu)存在先天性不足,在認證機制、權(quán)限管控體系以及數(shù)據(jù)安全防護等核心安全領(lǐng)域,當前協(xié)議框架尚未提供有效的技術(shù)解決方案。產(chǎn)業(yè)界已形成共識,需要額外疊加外部安全組件來彌補協(xié)議層面的安全缺陷。”劉博向記者表示。
因此,當MCP與大模型結(jié)合使用時,如果配置不當,可能會導(dǎo)致正常的大模型變成惡意模型。
安恒信息高級副總裁、研究院院長王欣向記者解釋道,目前,許多大模型采用無監(jiān)督式訓(xùn)練,在數(shù)據(jù)語料治理過程中,可能存在一些“臟數(shù)據(jù)”,這些數(shù)據(jù)可能被惡意利用。為了安全起見,通用模型廠商通常會進行價值觀對齊,但這種對齊很容易被突破。通過簡單的方式,攻擊者可以繞過價值觀對齊的防御體系,使模型執(zhí)行惡意操作。
袁明坤向記者表示,如果AI系統(tǒng)被攻擊者入侵,那么企業(yè)的核心數(shù)據(jù)可能會被竊取或篡改,給企業(yè)帶來巨大的損失。因此,保障AI系統(tǒng)的安全,防止其被惡意利用,是未來網(wǎng)絡(luò)安全領(lǐng)域必須解決的重要課題。
安全產(chǎn)業(yè)正進入AI定義時代,AI安全服務(wù)正從“可選項”變?yōu)椤氨剡x項”。
“在這一過程中,需要運用智能手段來約束智能,只能采用AI安全的方式,即通過智能治理智能,以大模型治理大模型?!眲⒉┫蛴浾弑硎?。
網(wǎng)絡(luò)安全企業(yè)正加速將AI融入防御體系,安恒信息的“恒腦”安全AI智能體(AI Agent)是一個典型代表。在新品發(fā)布會上,恒腦進化至3.0版本,在泛連接、高交互、全模態(tài)領(lǐng)域?qū)崿F(xiàn)突破。
范淵認為,AI智能體發(fā)展有條件自主、高度自主和完全自主三重境界,當前,可以通過“人+智能體”完成原來N個人協(xié)作才能完成的任務(wù)。
王欣預(yù)測,在未來一年內(nèi),AI智能體在安全領(lǐng)域的任務(wù)中,有一部分從“輔助駕駛”向“自動駕駛”發(fā)展。
值得注意的是,AI不僅改變了安全技術(shù),也重塑了行業(yè)商業(yè)模式。
“過去,我們常常采用‘軟件工程+人’的模式為客戶交付解決方案,軟件工程本身存在局限性,許多問題仍依賴人力,但很多場景如數(shù)據(jù)分類分級、海量告警分析等無法通過‘人海戰(zhàn)術(shù)’解決?!蓖跣老蛴浾弑硎?。
大模型的出現(xiàn)和智能體的應(yīng)用為這些問題帶來解決之策。王欣認為,那些需要大量重復(fù)性體力勞動的腦力工作,如今可以通過智能體得到有效解決。
而基于智能體的解決方案可以將服務(wù)價格大幅降低。這種轉(zhuǎn)變不僅提高了服務(wù)效率,也推動了行業(yè)從“勞動密集型”向“技術(shù)密集型”轉(zhuǎn)型,用戶開始從關(guān)注服務(wù)人數(shù)轉(zhuǎn)向關(guān)注服務(wù)效果。
此外,智能體的出現(xiàn)還推動了安全行業(yè)從專才向超級個體的轉(zhuǎn)變。通過智能體的共建方式,開發(fā)難度大幅降低,業(yè)務(wù)專家可以直接基于智能體開發(fā)平臺開發(fā)相關(guān)安全能力,省去了冗余復(fù)雜的開發(fā)流程,減少了需求傳遞過程中的信息衰減。
同時,智能體的應(yīng)用也使得安全行業(yè)從任務(wù)的定制化轉(zhuǎn)變?yōu)閭€性化,從面向客戶交付軟件系統(tǒng)轉(zhuǎn)變?yōu)楣矂?chuàng)模式。
王欣舉例稱,過去,有客戶提出的業(yè)務(wù)需求往往因為過于定制化而被許多廠商拒絕,因為這些需求只符合特定客戶的當前場景,對于廠商來說投入產(chǎn)出比并不劃算。然而通過智能體,這些任務(wù)在短短半年內(nèi)就得以實現(xiàn)。
這種從單純的交付到共同創(chuàng)作的轉(zhuǎn)變,使得安全行業(yè)能夠更好地滿足客戶的個性化需求,與客戶共同構(gòu)建符合其業(yè)務(wù)場景的安全解決方案。
業(yè)內(nèi)普遍認為,目前AI安全需求已經(jīng)存在,無論是科技巨頭還是新興企業(yè),對于AI安全問題的重視程度都在提升,并加大在這一領(lǐng)域的投入和研究。袁明坤向記者表示,明年這一需求的規(guī)模將會更大,市場潛力也將進一步釋放。