大語言模型數(shù)據(jù)泄露堪憂，超自動化Agent成解決之道

　 域名預(yù)訂/競價，好“米”不錯過

大語言模型數(shù)據(jù)泄露堪憂，超自動化Agent成解決之道

數(shù)據(jù)泄露成LLM應(yīng)用最大障礙，看實在智能如何用AI Agent破解謎題

從實在RPA Agent智能體安全機制，看AI Agent如何破解LLM應(yīng)用安全謎題

文/王吉偉

阻礙廣大企業(yè)應(yīng)用大語言模型（LLM，Large Langeuage Models）的諸多因素中，無疑數(shù)據(jù)安全是最重要的。

3月份ChatGPT發(fā)生了用戶隱私數(shù)據(jù)泄露事件，OpenAI聲明由于開源代碼庫中存在一個漏洞，使得部分用戶能夠看到另一個用戶的聊天標(biāo)題記錄，并把ChatGPT短暫下線緊急修補了此漏洞。

此事件，讓大家認(rèn)識到大模型并不是“大安全”。

更要命的，是用戶使用LLM時會不經(jīng)意輸入敏感數(shù)據(jù)。僅在三月份，三星內(nèi)部就發(fā)生了三起誤用及濫用ChatGPT案例，其中兩起關(guān)于三星半導(dǎo)體設(shè)備，一起關(guān)于三星內(nèi)部會議內(nèi)容。

以致有網(wǎng)友調(diào)侃，三星再多幾次敏感數(shù)據(jù)泄露，ChatGPT就能教大家制造先進(jìn)芯片了。

在三星等多家企業(yè)出現(xiàn)事故后，很多企業(yè)都意識到了LLM使用可能造成的數(shù)據(jù)泄露問題。就在5月份，蘋果公司也限制員工使用ChatGPT和其他外部AI工具。當(dāng)然，蘋果公司也在開發(fā)自己的LLM產(chǎn)品。

不只是蘋果公司，摩根大通、美國電信運營商Verizon等公司都已經(jīng)宣布禁止使用ChatGPT等應(yīng)用，亞馬遜也希望工程師們使用內(nèi)部AI工具。

就在11月10日，投資了OpenAI并為廣大企業(yè)提供OpenAI云服務(wù)的微軟，因為擔(dān)心公司機密數(shù)據(jù)泄露，竟然也開始禁止員工使用ChatGPT，建議員工使用自家的Bing Chat工具。

出于數(shù)據(jù)安全憂慮，美國銀行、花旗集團(tuán)、德意志銀行、高盛集團(tuán)等多家金融機構(gòu)已經(jīng)禁止員工使用ChatGPT聊天機器人處理工作任務(wù)，日本的軟銀、富士通、瑞穗金融集團(tuán)、三菱日聯(lián)銀行、三井住友銀行等企業(yè)，同樣限制了ChatGPT和類似聊天機器人的商業(yè)用途。

現(xiàn)在，這些企業(yè)有的與OpenAI合作進(jìn)行了私有化部署，有的已經(jīng)研發(fā)了自有大語言模型。

數(shù)據(jù)泄露對企業(yè)的危害

多家機構(gòu)如此重視，人為數(shù)據(jù)泄露到底能為企業(yè)造成多大傷害？

數(shù)據(jù)安全公司Cyberhaven曾在一個報告中，調(diào)查了不同行業(yè)客戶160萬員工的ChatGPT使用情況。

報告數(shù)據(jù)顯示，自ChatGPT推出以來至3月21日，8.2%的員工曾在工作場所使用過ChatGPT, 6.5%的員工曾將公司數(shù)據(jù)粘貼其中；僅3月14日一天，每10萬名員工就平均給ChatGPT發(fā)送了5267次企業(yè)數(shù)據(jù)。尤其是敏感數(shù)據(jù)，占到員工粘貼到ChatGPT的數(shù)據(jù)的11%。

這意味著，ChatGPT的使用率越高，敏感數(shù)據(jù)泄露的也就越多。

試想如果不加限制地使用LLM，隨著更多敏感數(shù)據(jù)被傳輸LLM服務(wù)器，并被用作模型訓(xùn)練數(shù)據(jù)集，也就意味著競爭對手通過隨意的聊天對話就能獲悉了你的核心數(shù)據(jù)。如果競對用這些數(shù)據(jù)建模對你進(jìn)行降維打擊，會對企業(yè)會造成多大損失？

數(shù)據(jù)泄露會造成嚴(yán)重的企業(yè)的信任度降低，讓業(yè)務(wù)連續(xù)性受到影響，并可能會帶來一定的法律責(zé)任。

看到這里，你就應(yīng)該明白為何大型企業(yè)都在構(gòu)建自有大語言模型了。

當(dāng)然，凡事皆有利弊。雖然對話式交互的生成式AI會造成敏感數(shù)據(jù)泄露，但AI和自動化的使用，整體上正在降低數(shù)據(jù)泄露的成本。

IBM的《2023年數(shù)據(jù)泄露成本》全球調(diào)查數(shù)據(jù)顯示，廣泛使用人工智能（AI）和自動化的組織受益，平均節(jié)省了近1萬美元的數(shù)據(jù)泄露成本，并將數(shù)據(jù)泄露識別和遏制速度加快了8 天。

也就是說，只要恰當(dāng)使用LLM，注意安全防控，它會對企業(yè)的增效降本起到明顯的作用。

LLM泄露數(shù)據(jù)的幾個原因

想要實現(xiàn)LLM的安全使用，需要分析數(shù)據(jù)泄露的相關(guān)因素。

從已經(jīng)發(fā)生的實踐案例來看，造成ChatGPT等LLM數(shù)據(jù)泄露的主要原因，大概有以下幾點：

1、用戶隱私泄露：在使用ChatGPT進(jìn)行客戶服務(wù)時，企業(yè)通常需要獲取用戶的個人信息，如姓名、地址、電話等。這些信息一旦被未經(jīng)授權(quán)的第三方獲取，便可能導(dǎo)致用戶隱私泄露。

2、內(nèi)部安全風(fēng)險：ChatGPT作為一款人工智能語言模型，其生成和處理的敏感信息可能包括企業(yè)內(nèi)部的商業(yè)機密、計劃、策略等。如果這些信息被惡意利用，可能會對企業(yè)造成嚴(yán)重?fù)p失。

3、系統(tǒng)漏洞：盡管ChatGPT具有強大的技術(shù)實力，但其系統(tǒng)仍可能存在漏洞。如果黑客利用這些漏洞入侵企業(yè)服務(wù)器，便可能導(dǎo)致數(shù)據(jù)泄露。

理論上，只要我們針對性的解決這幾個問題，LLM的安全使用也就不在話下。

現(xiàn)在，很多引入LLM的企業(yè)基本都建立了風(fēng)控機制，按照LLM使用流程的先后順序，這些機制包括加強安全培訓(xùn)、定期審查系統(tǒng)、加密處理敏感信息、使用可靠的人工智能服務(wù)提供商、建立應(yīng)急預(yù)案等。

在這些安全措施中，大家會發(fā)現(xiàn)“使用可靠的人工智能服務(wù)提供商”這一點最為重要，畢竟引入一個具備高度安全機制的LLM會事半功倍。其他幾點也能起到一定的作用，但多是為了防患于未然以及事后補救，并且其中的很多人為因素難以避免。

與此同時，隨著技術(shù)的不斷發(fā)展，LLM的應(yīng)用也進(jìn)入到了AI Agent階段。

AI Agent有效避免LLM數(shù)據(jù)泄露

AI Agent是由AI驅(qū)動的程序，當(dāng)給定目標(biāo)時，能夠自己創(chuàng)建任務(wù)、完成任務(wù)、創(chuàng)建新任務(wù)、重新確定任務(wù)列表的優(yōu)先級、完成新的頂級任務(wù)，并循環(huán)直到達(dá)到目標(biāo)。

使用AI Agent，只需輸入一句話或者更簡單的指令，就能通過理解與分析獲悉用戶的意圖，進(jìn)而規(guī)劃并執(zhí)行一系列任務(wù)，最終輸出詳盡而具體的答案。

AI Agent不僅讓輸入更加簡單，也在一定程度上提高了安全系數(shù)，有效避免了數(shù)據(jù)泄露的可能，還能最大限度發(fā)揮LLM的能力。

AI Agent正在快速影響更多領(lǐng)域，超自動化領(lǐng)域也是如此。目前廠商們都在積極引入或自研大模型，并基于這些大模型打造Agent，以從安全、易用性等各方面提升超自動化的應(yīng)用效率。

當(dāng)然，超自動化Agent在數(shù)據(jù)安全方面遠(yuǎn)不是減少提示詞輸入那么簡單。

超自動化Agent破解LLM安全謎題

超自動化領(lǐng)域如何通過AI Agent提升安全系數(shù)呢？

這里王吉偉頻道以實在智能業(yè)界首發(fā)的實在RPA Agent智能體為例，介紹超自動化Agents如何保障用戶數(shù)據(jù)安全。

實在RPA Agent智能體是基于實在智能自研垂直領(lǐng)域大模型TARS構(gòu)建的RPA\超自動化智能體，是一種能夠自主拆解任務(wù)、感知當(dāng)前環(huán)境、執(zhí)行并且反饋、記憶歷史經(jīng)驗的RPA全新模式。

為了讓用戶更安全的使用AI智能體，實在RPA Agent智能體在TARS大語言模型和RPA工具包都設(shè)置的多重安全機制。

TARS大語言模型的安全機制側(cè)重于敏感數(shù)據(jù)、內(nèi)部政策和提示檢查。在預(yù)訓(xùn)練或SFT階段通過數(shù)據(jù)處理和文本分類算法刪除敏感數(shù)據(jù)，在大模型的輸出結(jié)果之上疊加一個輔助安全模型，RLHF（人類反饋強化學(xué)習(xí)）階段使用內(nèi)部策略，檢查用戶查詢并添加安全提示等。

這樣就能保證用戶輸入內(nèi)容的多層過濾，防止敏感數(shù)據(jù)的外露。

TARS大型語言模型上基于充分細(xì)致的語料收集和清洗、數(shù)據(jù)處理及標(biāo)注，超千億Tokens的預(yù)訓(xùn)練語料和超百萬條指令微調(diào)數(shù)據(jù)，實在智能獨立完整復(fù)現(xiàn)大模型構(gòu)建的預(yù)訓(xùn)練、指令微調(diào)和RLHF三階段，使大模型具備完整能力。

同時實在智能自主研發(fā)用于中文不當(dāng)言論判別和生成終止的Detoxify系統(tǒng)，也提升了TARS的安全性和無害性，讓大模型“既懂事，又懂法”。

在RPA工具包上，TARS-RPA-Agent安全機制側(cè)重于機器人授權(quán)繼承和指揮官分配或分發(fā)授權(quán)：

首先，RPA機器人的授權(quán)均繼承自創(chuàng)建機器人的用戶，同時其權(quán)限范圍也和所在賬號的權(quán)限是一致的，不會獲取超出其權(quán)限范圍的信息；

其次，RPA指揮官可以分配和控制TARS-RPA-Agent的授權(quán)；

第三，在開發(fā)過程中，實在智能設(shè)計了一個易于處理敏感數(shù)據(jù)的模塊，使得敏感數(shù)據(jù)更易于通過配置、刪除、導(dǎo)入等方式進(jìn)行設(shè)置。

除了LLM和RPA，TARS-RPA-Agent還包含其他輔助模塊，其中的安全機制側(cè)重于內(nèi)部知識庫認(rèn)證、內(nèi)部文檔訪問以及用戶確認(rèn)。

有了面向LLM、RPA和輔助模塊的多重安全機制，在十幾層防護(hù)墻的共同作用下，想要泄露隱私數(shù)據(jù)都很難，徹底杜絕了前文所講的人為泄露數(shù)據(jù)的情況。再加上應(yīng)對系統(tǒng)漏洞的相關(guān)安全機制，足以把LLM應(yīng)用安全打造得固若金湯。

當(dāng)然，這還是直接使用TARS大模型或者調(diào)用API的情況。如果你是現(xiàn)金流充沛的企業(yè)，采用本地部署大語言模型的方式，安全情況會更上一層樓。

需要說明的是，這種整體安全解決方案非常適用于一些大型企業(yè)的LLM應(yīng)用安全過濾。

出于安全考慮，企業(yè)都希望在應(yīng)用LLM時過濾內(nèi)部敏感信息。

目前市面上的數(shù)據(jù)安全管理軟件，功能豐富但應(yīng)用復(fù)雜且價格不菲。為了LLM數(shù)據(jù)過濾這種單一應(yīng)用場景而斥巨資購買全數(shù)據(jù)監(jiān)控軟件，顯然過于浪費，并不是LLM數(shù)據(jù)過濾的最優(yōu)選。

事實上，這類需求更適合LLM技術(shù)供應(yīng)商基于大語言模型技術(shù)路徑去做。只需在其LLM產(chǎn)品體系中添加隱私數(shù)據(jù)過濾功能，為企業(yè)用戶開放不斷更新或增刪敏感數(shù)據(jù)庫內(nèi)容的權(quán)限。

這種模式，不僅能為本身大語言模型提供過濾安全功能，還能用于企業(yè)所使用的OpenAI、文心一言等第三方大語言模型，能夠在最大限度保護(hù)員工創(chuàng)造力的同時做好公司敏感數(shù)據(jù)的防護(hù)。

這樣，企業(yè)就能實現(xiàn)花一份錢去保障更多LLM的安全。

如果你的企業(yè)正在為LLM的應(yīng)用安全及預(yù)算而發(fā)愁，不妨試試實在智能的這種安全解決方案，或許會讓你眼前一亮。

全文完

【王吉偉頻道，關(guān)注AIGC與IoT，專注數(shù)字化轉(zhuǎn)型、業(yè)務(wù)流程自動化與RPA，歡迎關(guān)注與交流?！?/p>

 

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！