中國發布《生成式AI安全基本要求》，涵蓋訓練數據、生成內容等

全國網絡安全標準化技術委員會在官網發布了，國家標準《網絡安全技術 生成式人工智能服務安全基本要求》征求意見稿。

該意見稿一共分為《網絡安全技術 生成式人工智能服務安全基本要求-標準文本》、意見匯總處理表和編制說明三大塊。

其中，標準文本涵蓋訓練數據安全要求、模型安全要求等，主要是為了加強生成式人工智能的開發、應用落地的安全性。如果你對該標準有任何意見，可以在2024年7月22日前反饋給國家網安標委秘書處。

2023年7月，國家網信辦等七部門發布了《生成式人工智能服務管理暫行辦法》，從政策法規層面為我國生成式人工智能健康發展保駕護航，為有序開展相關管理工作明確了方向。

而本次發布的標準要求是對《辦法》中的安全要求進行細化，規定了生成式人工智能服務在安全方面的基本要求，針對當前生成式人工智能服務研發過程中的網絡安全、數據安全、個人信息保護，以及面向服務過程中的應用場景安全風險、軟硬件環境安全風險、生成內容安全風險、權益保障安全風險等方面，提出細化安全要求。

下面「AIGC開放社區」將為大家介紹該標準的主要內容

數據來源安全

對服務提供者的要求如下。

a）采集來源管理:

1）面向特定數據來源進行采集前，應對該來源數據進行安全評估，數據內容中含違法不良信息超過5%的，不應采集該來源數據;

2）面向特定數據來源進行采集后，應對所采集的該來源數據進行核驗，含違法不良信息情況超過5%的，不應使用該來源數據進行訓練。

b）不同來源訓練數據搭配:

1）應提高訓練數據來源的多樣性，對每一種語言的訓練數據，如中文、英文等，以及每一種類型的訓練數據，如文本、圖片、音頻、視頻等，均應有多個訓練數據來源;

2）如需使用境外來源訓練數據，應與境內來源訓練數據進行合理搭配。

c）訓練數據來源可追溯:

1）使用開源訓練數據時，應具有該數據來源的開源許可協議或相關授權文件;

2）使用自采訓練數據時，應具有采集記錄，不應采集他人已明確不可采集的數據;不可采集的網頁數據，或個人已拒絕授權采集的個人信息等。

3）使用商業訓練數據時:

應有具備法律效力的交易合同、合作協議等;

交易方或合作方不能提供數據來源、質量、安全等方面的承諾以及相關證明材料時，不應使用該訓練數據;

應對交易方或合作方所提供訓練數據、承諾、材料進行審核。

4）將使用者輸入信息當作訓練數據時，應具有使用者授權記錄。

數據內容安全

a）訓練數據內容過濾:對于每一種類型的訓練數據，如文本、圖片、音頻、視頻等，應在將數據用于訓練前，對全部訓練數據進行過濾，過濾方法包括但不限于關鍵詞、分類模型、人工抽檢等，去除數據中的違法不良信息。

b）知識產權:

1）應有訓練數據知識產權管理策略，并明確負責人;

2）數據用于訓練前，應對數據中的主要知識產權侵權風險進行識別，發現存在知識產權侵權等問題的，服務提供者不應使用相關數據進行訓練;

注:訓練數據中包含文學、藝術、科學作品的，需要重點識別訓練數據以及生成內容中著作權侵權問題。

3）應建立針對知識產權問題的投訴舉報渠道;

4）應在用戶服務協議中，向使用者告知使用生成內容的知識產權相關風險，并與使用者約定相

關責任與義務;

5）應及時根據國家政策以及第三方投訴情況更新知識產權相關策略;

6）宜具備以下知識產權措施:

公開訓練數據中涉及知識產權部分的摘要信息;在投訴舉報渠道中支持第三方就訓練數據使用情況以及相關知識產權情況進行查詢。

c）個人信息方面:

1）在使用包含個人信息的訓練數據前，應取得對應個人同意或者符合法律、行政法規規定的其他情形;

2）在使用包含敏感個人信息的訓練數據前，應取得對應個人單獨同意或者符合法律、行政法規規定的其他情形。

模型安全要求

對服務提供者的要求如下。

a）模型訓練方面:

1）在訓練過程中，應將生成內容安全性作為評價生成結果優劣的主要考慮指標之一;

注:模型生成內容是指模型直接輸出的、未經其他處理的原生內容。

2）應定期對所使用的開發框架、代碼等進行安全審計，關注開源框架安全及漏洞相關問題，識別和修復安全漏洞。

b）模型輸出方面:

1）生成內容準確性方面，應采取技術措施提高生成內容響應使用者輸入意圖的能力，提高生成內容中數據及表述與科學常識及主流認知的符合程度，減少其中的錯誤內容;

2）生成內容可靠性方面，應采取技術措施提高生成內容格式框架的合理性以及有效內容的含量，提高生成內容對使用者的幫助作用;

3）問題拒答方面，對明顯偏激以及明顯誘導生成違法不良信息的問題，應拒絕回答;對其他問題，應均能正常回答;

4）圖片、視頻等生成內容標識方面，應滿足國家相關規定以及標準文件要求。

c）模型監測方面:

1）應對模型輸入內容持續監測，防范惡意輸入攻擊，例如注入攻擊、后門攻擊、數據竊取、對抗攻擊等;

2）應建立常態化監測測評手段以及模型應急管理措施，對監測測評發現的提供服務過程中的安全問題，及時處置并通過針對性的指令微調、強化學習等方式優化模型。

d）模型更新、升級方面:

1）應制定在模型更新、升級時的安全管理策略;

2）應形成管理機制，在模型重要更新、升級后，再次自行組織安全評估。

e）軟硬件環境方面:

1）模型訓練、推理所采用的計算系統方面:

應評估系統所采用芯片、軟件、工具、算力等方面的供應鏈安全，側重評估供應持續性、穩定性等方面;

所采用芯片宜支持基于硬件的安全啟動、可信啟動流程及安全性驗證。

2）應將模型訓練環境與推理環境隔離，避免數據泄露、不當訪問等安全事件，隔離方式包括物理隔離與邏輯隔離。

上面只是部分內容，整個安全標準書是非常詳細的，有興趣的可以去官網查看全部內容。

我國也是全球為數不多在生成式人工智能領域連續出臺安全管理條例的國家，一方面展示了國家對創新變革技術的重視程度，另外保證了生成式人工智能的場景化落地和應用安全。