0
4月29日，第八屆數字中國建設峰會數字經濟分論壇在福州舉行。論壇由國家數據局主辦，國家數據發展研究院、國家發展改革委城市和小城鎮改革發展中心、中國信息通信研究院、福建省數據管理局承辦，以“從新出發 向智而行 推動數字經濟高質量發展”為主題。國家發展改革委黨組成員，國家數據局黨組書記、局長劉烈宏，福建省委常委、常務副省長王永禮出席并發表講話。中國工程院院士鄔賀銓，中國科學院院士黃維，全國政協委員、全國工商聯副主席、奇安信集團董事長齊向東等嘉賓做主題演講，圍繞人工智能引領數字經濟發展新潮流、人工智能加速賦能社會治理水平提升、行業智能化創新促進數字經濟高質量發展等方向展開深度討論。齊向東在演講中表示，新技術是把雙刃劍，大模型應用一端連著機遇，一端連著挑戰，面對大模型應用的三重挑戰，需抓住“接入放心用”“權限強管控”“嚴把內容關”“杜絕新隱患”“運營可閉環”五個關鍵，筑牢人工智能的安全底線，為千行百業抓住人工智能新機遇，吃下一顆“定心丸”。
發展是硬道理，安全也是硬道理
當前，人工智能大模型應用迎來大爆發，從直接部署的基本應用、特定場景的增強應用、垂直領域的專業應用，再到特定領域的深度應用，政企機構正在大模型的驅動下，煥發出更澎湃的生產力、創造力。然而，新技術猶如一把雙刃劍，在帶來機遇的同時，也面臨著諸多挑戰。齊向東總結大模型應用面對的安全挑戰有三重。
第一重挑戰是，“小數據”一失萬無，“小數據安全”成為數字經濟時代的核心關切。在數字經濟時代，數據如同驅動發展的“石油”，人工智能則是“發動機”。過去，人們談及數據多是大數據，規模龐大但質量參差不齊，價值挖掘困難。如今，借助人工智能大模型，企業通過對設計、生產等數據進行加工處理，形成精華“小數據”，這些“小數據”成為企業核心競爭力所在。但一旦“小數據”被竊取、泄露或篡改，企業多年積累的優勢將瞬間崩塌。
第二重挑戰是，大模型融通百業，“裸奔”上線極有可能引發業務停擺的鏈式危機。當大模型深度融入智慧城市、工控系統、智慧政務等關鍵領域時，會將風險串聯成網。奇安信資產測繪鷹圖平臺監測發現，8971個Ollama大模型服務器中有6449個活躍服務器，其中近九成都在“裸奔”，任何人無需認證即可隨意調用、訪問服務，甚至能刪除重要模型文件，進而導致與大模型關聯的應用業務中斷。
第三重挑戰是，對AI過度依賴，善惡真偽難辨別，一旦大模型決策失準會引發“蝴蝶效應”。隨著人工智能的深入應用，人們對人工智能輔助決策依賴日益加深，這給了不法分子可乘之機。從外部攻擊視角看，黑客可以通過漏洞利用、數據投毒等方式，干擾大模型的決策，披著大模型的外衣作惡；從內部運營視角看，如果內部員工在更新知識庫時，引入錯誤信息會污染模型學習環境，使其輸出錯誤結論。
筑牢AI安全底線，共建發展新生態。
面對這些挑戰，齊向東提出了筑牢AI安全的“五個關鍵”。
首先是接入放心用，構建大模型安全“紅域”形成多維度邊界隔離。奇安信創新提出了安全“紅域”概念，將大模型應用涉及的數據、算力、平臺、應用以及域內管理的終端及人員劃歸到專屬安全空間中進行防護，并在每個與大模型交互的接入點設置安全空間控制單元，通過多維度的邊界隔離，為大模型應用落地“強基礎、控權限、審數據、攔攻擊、清風險”。
其次是權限強管控，以用戶身份為新邊界開展網絡和數據安全防護。通過堡壘機、“零信任”等技術措施，對開發、訓練等相關特殊人員和終端進行增強式安全管控。其中，“零信任”架構能在認證主體角色基礎上，疊加IP、設備、安全環境和時間、位置及其上網行為基線等屬性，確保合適的人在合適的時間、以合適的方式，訪問合適的數據，杜絕“內鬼”隱患。
三是嚴把內容關，構建貫穿大模型全生命周期的內容安全治理機制。通過強化監測審計，實現對大模型的核心數據管控。包括對用戶使用大模型過程中的不良內容、異常訪問行為進行監測、審計、攔截和預警，及時優化管控策略。
四是杜絕新隱患，以實戰為導向加強大模型應用安全評估。通過實戰化評估方法，對大模型安全、大模型內容安全、智能體安全、大模型組件安全以及大模型運行環境安全等方向進行全面檢測評估，驗證安全策略有效性。并構建縱深防御與監測技術能力，降低大模型應用的數據泄露風險與業務中斷風險。
五是運營可閉環，做到對安全威脅的實時監測和應急處置。齊向東表示，“未來網絡安全得AI者得天下。”奇安信率先提出“AI驅動安全”理念，推出AISOC，把AI的能力嵌入到研判、調查、響應、報告、狩獵、策略創建等安全運營工作，實現了大運營與AI的有機結合。面對人工智能落地應用帶來的多重安全挑戰，要用AI對抗AI，增補面向大模型攻擊及異常行為的檢測手段，實時監測針對大模型的攻擊行為，并實現高效攔截，形成安全運營的閉環。
“我相信，把握好這五個關鍵，一定能夠確保人工智能大模型應用安全落地，發揮出驅動數字經濟發展的正向價值。”齊向東表示，奇安信將深挖優勢，“以AI驅動安全”，助力構建數字經濟安全新生態。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
