中國人民大學(xué)科學(xué)研究處、中國人民大學(xué)信息資源管理學(xué)院：錢明輝、楊建梁

2024年發(fā)表在《BMJ Quality & Safety》上的一項(xiàng)研究測(cè)試了微軟的Bing Copilot在回答醫(yī)療問題時(shí)的表現(xiàn)，發(fā)現(xiàn)其生成的500個(gè)答案中，有24%的回答與現(xiàn)有醫(yī)學(xué)知識(shí)不符，3%的回答完全錯(cuò)誤。更為嚴(yán)重的是，42%的回答可能對(duì)患者造成中度或輕度傷害，22%的回答可能導(dǎo)致死亡或嚴(yán)重傷害。在人工智能系統(tǒng)中，訓(xùn)練數(shù)據(jù)的質(zhì)量直接關(guān)系到智能模型輸出的可靠性和安全性?；烊胛唇?jīng)審查或錯(cuò)誤的信息可能導(dǎo)致模型生成不準(zhǔn)確甚至有害的建議，特別是在醫(yī)療等關(guān)乎生命的領(lǐng)域，其后果將非常嚴(yán)重。

從文本生成到圖像合成，從對(duì)話系統(tǒng)到?jīng)Q策預(yù)測(cè)，越來越多的事實(shí)正在表明：模型的不確定性往往不是算法本身的問題，而是數(shù)據(jù)源中噪聲沉積后的系統(tǒng)性外溢。一旦噪聲滲入數(shù)據(jù)體系，便如微塵入肺、雜質(zhì)入流，悄然間撼動(dòng)人工智能的生成根基——它可能誘發(fā)事實(shí)錯(cuò)覺、加劇價(jià)值偏誤、降低泛化能力，最終影響用戶信任、產(chǎn)品安全與社會(huì)穩(wěn)定。在當(dāng)前人工智能不斷向更高層次認(rèn)知演化的進(jìn)程中，數(shù)據(jù)質(zhì)量正成為決定智能體能否實(shí)現(xiàn)“深度理解”與“可靠推理”的基礎(chǔ)性要素。而在這一過程中，數(shù)據(jù)噪聲（Data Noise）則是潛伏在智能成長(zhǎng)路徑中的“隱性偏差”與“系統(tǒng)性污染源”，不僅侵蝕著模型學(xué)習(xí)的準(zhǔn)確性與穩(wěn)定性，更可能在關(guān)鍵應(yīng)用中引發(fā)幻覺生成、判斷失真乃至價(jià)值誤導(dǎo)，成為制約人工智能穩(wěn)健發(fā)展的“灰色變量”。

所謂數(shù)據(jù)噪聲，是指存在于數(shù)據(jù)集中的偏離真實(shí)語義分布的信息碎片，這些信息通常表現(xiàn)為不準(zhǔn)確（如錯(cuò)誤標(biāo)注）、不相關(guān)（如干擾樣本）、不一致（如語義沖突）、模糊不清（如邊界模糊）、冗余重復(fù)（如反復(fù)出現(xiàn)）等形式。數(shù)據(jù)噪聲無法準(zhǔn)確表達(dá)樣本所屬的知識(shí)結(jié)構(gòu)與目標(biāo)任務(wù)語義，就像一幅畫布中滲入的雜色筆觸，雖非全部，卻足以破壞整體的構(gòu)圖邏輯與認(rèn)知體驗(yàn)。

在人工智能建模實(shí)踐中，數(shù)據(jù)噪聲常常以誤標(biāo)樣本、模糊樣本、重復(fù)樣本、矛盾樣本或任務(wù)無關(guān)樣本的形式出現(xiàn)，隱藏于海量數(shù)據(jù)中難以察覺，卻對(duì)模型訓(xùn)練產(chǎn)生顯著干擾。尤其在大規(guī)模預(yù)訓(xùn)練時(shí)代，數(shù)據(jù)噪聲的積累效應(yīng)將直接影響模型的泛化能力與可靠性輸出。因此，如果說高品質(zhì)數(shù)據(jù)集是人工智能演化的“養(yǎng)料”，那么有效識(shí)別與治理數(shù)據(jù)噪聲，就是為智能系統(tǒng)剔除“雜質(zhì)”、守護(hù)“純度”的關(guān)鍵前提。

相關(guān)閱讀：

高響應(yīng)數(shù)據(jù)集：人工智能新時(shí)代的關(guān)鍵要素

高對(duì)齊數(shù)據(jù)集：人工智能新時(shí)代的文明守護(hù)

高密度數(shù)據(jù)集：人工智能新時(shí)代的進(jìn)化引擎

數(shù)據(jù)萃?。骸叭摺睌?shù)據(jù)集構(gòu)建的點(diǎn)睛之筆

知識(shí)蒸餾與數(shù)據(jù)萃?。洪_發(fā)人工智能訓(xùn)練所需的“動(dòng)態(tài)食譜”與“黃金食材”

分布式數(shù)據(jù)集與聯(lián)邦學(xué)習(xí)：人工智能持續(xù)生長(zhǎng)的協(xié)作之道

數(shù)據(jù)與數(shù)據(jù)集：面向新一代人工智能“聚沙成塔”

多模態(tài)數(shù)據(jù)集構(gòu)建：為人工智能的世界模型筑基

開放數(shù)據(jù)集生態(tài)：人工智能發(fā)展的群體智慧引擎

領(lǐng)域?qū)ｎ}數(shù)據(jù)集：培育“行業(yè)智能專家”的精品教材

瞬時(shí)數(shù)據(jù)集建設(shè)：揭示實(shí)時(shí)性流式數(shù)據(jù)中的智能因子

數(shù)據(jù)集的道德負(fù)荷：成就更具責(zé)任感的人工智能

一、數(shù)據(jù)集噪聲審視：潛在風(fēng)險(xiǎn)與系統(tǒng)危害

在模型訓(xùn)練的每一道環(huán)節(jié)中，數(shù)據(jù)噪聲就像埋藏在地基中的沙粒，微小卻危險(xiǎn)，一旦未被察覺，便可能在后續(xù)過程中層層放大，最終釀成模型性能崩塌的“多米諾骨牌”效應(yīng)，釋放出成倍增長(zhǎng)的風(fēng)險(xiǎn)與成本。

首先，數(shù)據(jù)集噪聲會(huì)拉長(zhǎng)智能模型的訓(xùn)練周期導(dǎo)致算力虛耗。摻雜了噪聲的數(shù)據(jù)集不僅降低模型的訓(xùn)練效率，還會(huì)連帶影響后續(xù)的模型微調(diào)、性能評(píng)估與部署節(jié)奏，使得整個(gè)智能體系構(gòu)建過程的邊際成本不斷抬升。例如，在自動(dòng)駕駛場(chǎng)景中，少量錯(cuò)誤標(biāo)注的交通標(biāo)識(shí)或遮擋信息，可能使得模型長(zhǎng)期在無效路徑中訓(xùn)練，嚴(yán)重影響系統(tǒng)的穩(wěn)定性與響應(yīng)的時(shí)效性。又如，在工業(yè)視覺檢測(cè)中，若存在大量瑕疵產(chǎn)品被標(biāo)注為“合格”，模型將反復(fù)強(qiáng)化錯(cuò)誤判斷邏輯，最終導(dǎo)致上線后的質(zhì)量控制失效，制造企業(yè)面臨召回和信譽(yù)損失的雙重打擊。

其次，數(shù)據(jù)集噪聲會(huì)侵蝕智能模型對(duì)真實(shí)世界分布的感知能力。數(shù)據(jù)集噪聲會(huì)使得人工智能模型的學(xué)習(xí)路徑偏離語義核心、陷入理解模糊。尤其是在復(fù)雜推理、多輪對(duì)話等高階任務(wù)中，由于數(shù)據(jù)集噪聲的干擾，智能模型常?！按鸱撬鶈?、思而不精”。例如，在醫(yī)療問答系統(tǒng)中，如果訓(xùn)練數(shù)據(jù)中混入大量無效回復(fù)或錯(cuò)配癥狀，模型可能在病癥識(shí)別中頻繁失準(zhǔn)，甚至推薦無關(guān)或有害的治療方案。再如，在法律問答系統(tǒng)中，若大量案例語料未區(qū)分“審理意見”與“最終判決”，模型可能將未采納的建議錯(cuò)誤地作為法律依據(jù)，誤導(dǎo)用戶做出風(fēng)險(xiǎn)決策。

最后，數(shù)據(jù)集噪聲會(huì)在訓(xùn)練生成式人工智能模型時(shí)產(chǎn)生誘導(dǎo)效應(yīng)。無論是文本生成還是圖像合成，噪聲都可能成為“幻覺”的種子，催生出與事實(shí)背離、邏輯紊亂、常識(shí)斷裂的內(nèi)容，損害系統(tǒng)的可信度以及用戶對(duì)于智能產(chǎn)品與服務(wù)的信任。特別是在更具倫理敏感度的應(yīng)用領(lǐng)域中，如價(jià)值判斷、輿論引導(dǎo)或社會(huì)認(rèn)知建構(gòu)，那些隱匿于數(shù)據(jù)深處的極端、片面、扭曲之雜音，或?qū)⒁龑?dǎo)模型產(chǎn)生結(jié)構(gòu)性偏見。例如，在招聘推薦或法庭量刑類模型中，歷史數(shù)據(jù)中潛藏的性別歧視、族群偏差等“舊偏見”若未經(jīng)治理，就可能在模型輸出中被“新包裝、再擴(kuò)散”，強(qiáng)化原有的社會(huì)不公。類似地，在新聞生成場(chǎng)景中，若模型訓(xùn)練中大量引用帶有情緒化或失實(shí)內(nèi)容的自媒體文本，其輸出新聞不僅失準(zhǔn)失實(shí)，還可能在關(guān)鍵事件中煽動(dòng)誤解、誤導(dǎo)輿情，破壞公共認(rèn)知生態(tài)。

歸根結(jié)底，數(shù)據(jù)集噪聲的危害不僅止步于模型性能的下滑，它更可能擾亂模型對(duì)“知識(shí)邊界”的判斷、對(duì)“行為預(yù)期”的塑造，乃至對(duì)“社會(huì)影響”的承擔(dān)路徑。數(shù)據(jù)治理的命題，早已從“有沒有”邁向“好不好”。而數(shù)據(jù)集噪聲，正成為智能時(shí)代最隱蔽卻最嚴(yán)峻的“數(shù)據(jù)污染”。

二、數(shù)據(jù)集噪聲治理：基本原理與核心技術(shù)

面對(duì)噪聲這一“數(shù)據(jù)深?！敝械碾[患礁石，當(dāng)下的數(shù)據(jù)集治理已逐步建構(gòu)起一條“識(shí)別-分析-修復(fù)”的技術(shù)閉環(huán)，其根本目標(biāo)在于“澄沙汰礫”，還原語義本真，提升數(shù)據(jù)的純凈度、一致性與任務(wù)匹配力。具體而言，當(dāng)前數(shù)據(jù)集噪聲治理的基本原理與核心技術(shù)主要包括以下幾類：

一是異常檢測(cè)與置信度評(píng)估機(jī)制。通過統(tǒng)計(jì)分布差異、語言模型評(píng)分（如基于困惑度（Perplexity）的異常過濾）與專家共識(shí)規(guī)則相結(jié)合，自動(dòng)識(shí)別那些偏離語義主干、質(zhì)量顯著異化的數(shù)據(jù)樣本，實(shí)現(xiàn)第一道“質(zhì)檢”。在大規(guī)模語料清洗中，該類方法已成為提升基礎(chǔ)語義密度的關(guān)鍵工具。例如，在醫(yī)療問答數(shù)據(jù)集中，如果某條問題是“我腿疼要怎么退燒”，則語義出現(xiàn)明顯混亂，困惑度值較高，結(jié)合專家規(guī)則系統(tǒng)可將其判定為異常數(shù)據(jù)并剔除，從源頭避免模型學(xué)到邏輯矛盾的關(guān)聯(lián)模式。

二是多維標(biāo)簽一致性分析技術(shù)。聚焦于標(biāo)注數(shù)據(jù)的內(nèi)在一致性，借助語義聚類、標(biāo)簽對(duì)齊、冗余驗(yàn)證等手段，識(shí)別主客觀分歧、誤標(biāo)混標(biāo)及標(biāo)簽沖突，構(gòu)建出一套多維交叉審查系統(tǒng)，補(bǔ)齊“標(biāo)簽即認(rèn)知”的質(zhì)量短板。例如，同一類癥狀問題如“咳嗽發(fā)燒是否新冠”被不同標(biāo)注員分別貼上“普通感冒”“新冠初期”“病毒性感染”等標(biāo)簽，通過語義聚類和沖突分析發(fā)現(xiàn)標(biāo)簽分歧較大，可觸發(fā)重新審核標(biāo)注規(guī)則，提升標(biāo)注統(tǒng)一性。

三是人機(jī)協(xié)同的主動(dòng)修復(fù)機(jī)制。依托小樣本學(xué)習(xí)與交互式反饋設(shè)計(jì)，在模型對(duì)邊界樣本或高不確定性樣本作出初篩后，引入人類專家“點(diǎn)睛”把關(guān)。這一主動(dòng)修復(fù)機(jī)制既能夠提高治理效率，也可以不斷反哺系統(tǒng)積累糾錯(cuò)經(jīng)驗(yàn)，從而實(shí)現(xiàn)“以治促學(xué)”的正向循環(huán)。例如，模型對(duì)于“喉嚨刺痛是否與胃反酸有關(guān)”這類復(fù)雜邊界問題無法確定標(biāo)簽時(shí)，會(huì)將其標(biāo)記為高不確定性樣本，推送給醫(yī)療專家判斷并修正標(biāo)注，修復(fù)后的樣本可作為高質(zhì)量參考，指導(dǎo)后續(xù)訓(xùn)練。

四是面向噪聲容忍的魯棒建模策略。在模型結(jié)構(gòu)設(shè)計(jì)層面引入標(biāo)簽平滑、顯式噪聲建模網(wǎng)絡(luò)、記憶選擇機(jī)制等抗擾動(dòng)策略，使模型在“與噪共舞”中保持學(xué)習(xí)穩(wěn)定性，為不可避免的少量噪聲設(shè)下彈性緩沖帶。例如，即使部分醫(yī)療問答數(shù)據(jù)標(biāo)簽存在“感冒”與“流感”這類輕度混標(biāo)，魯棒建模策略可通過標(biāo)簽平滑技術(shù)降低誤差敏感度，以免導(dǎo)致模型輸出的劇烈偏移，從而穩(wěn)定模型對(duì)相近癥狀的診斷預(yù)測(cè)能力。

五是基于大模型的反向?qū)彶闄C(jī)制。以模型審校模型，利用大模型自身的語言理解與推理能力，反向評(píng)測(cè)訓(xùn)練語料的邏輯性、常識(shí)性與價(jià)值合理性，構(gòu)建提示詞（Prompt）驅(qū)動(dòng)的數(shù)據(jù)反饋閉環(huán)，在自動(dòng)監(jiān)督中實(shí)現(xiàn)語義回溯與質(zhì)量自省。例如，調(diào)用大模型對(duì)已有醫(yī)療問答語料進(jìn)行復(fù)檢，提示詞如“該回答是否合理且符合醫(yī)學(xué)常識(shí)？是否可能誤導(dǎo)病人？”通過對(duì)“胃痛可以通過喝碳酸飲料緩解”這類回答進(jìn)行評(píng)判與標(biāo)注，可發(fā)現(xiàn)其潛在的誤導(dǎo)性，并標(biāo)記為需清洗樣本。

這些技術(shù)模塊既可作為“前置過濾器”獨(dú)立部署于數(shù)據(jù)預(yù)處理環(huán)節(jié)，也可深度融合進(jìn)大模型的訓(xùn)練與迭代流程，構(gòu)建起從“數(shù)據(jù)清洗”到“結(jié)構(gòu)優(yōu)化”再到“語義增強(qiáng)”的治理路線。它們共同織就一道“智能防護(hù)網(wǎng)”，在源頭篩沙、在過程中正軌、在輸出端糾偏，逐步夯實(shí)人工智能系統(tǒng)認(rèn)知能力的基礎(chǔ)地層，為其穩(wěn)健成長(zhǎng)與可持續(xù)演進(jìn)注入堅(jiān)實(shí)的“數(shù)據(jù)底座”與“語義養(yǎng)分”。

三、數(shù)據(jù)集噪聲削減：協(xié)同機(jī)制與生態(tài)體系

在大模型時(shí)代，數(shù)據(jù)集已不再是孤立資源，而是流動(dòng)于標(biāo)注方、模型方、平臺(tái)方、用戶側(cè)之間“共建共用”的基礎(chǔ)設(shè)施。數(shù)據(jù)集噪聲治理也因此從單點(diǎn)治理走向系統(tǒng)協(xié)同，從工具方法走向機(jī)制重構(gòu)，正催生出一套由多方參與、層次分明、持續(xù)演化的治理生態(tài)。

其一，模型平臺(tái)與數(shù)據(jù)源平臺(tái)的協(xié)同耦合。數(shù)據(jù)質(zhì)量不應(yīng)只是模型的“輸入變量”，而應(yīng)成為訓(xùn)練過程中的“實(shí)時(shí)反饋因子”。例如，在醫(yī)療問答系統(tǒng)中，當(dāng)模型多次在相似語料上生成錯(cuò)誤答案，訓(xùn)練平臺(tái)可自動(dòng)識(shí)別這類數(shù)據(jù)為“潛在噪聲源”，并將其回寫至數(shù)據(jù)平臺(tái)，觸發(fā)樣本復(fù)核或標(biāo)簽重審。數(shù)據(jù)平臺(tái)再將清洗后的數(shù)據(jù)回流至模型，構(gòu)成“數(shù)據(jù)-模型雙向通路”，從而形成噪聲識(shí)別、反饋、優(yōu)化的閉環(huán)治理鏈條。這種耦合機(jī)制將能夠大幅提升模型對(duì)數(shù)據(jù)異常的自感知與自愈能力。

其二，標(biāo)注社區(qū)與專業(yè)機(jī)構(gòu)的多重審校。在處理價(jià)值敏感、高語義密度的數(shù)據(jù)場(chǎng)景時(shí)，如醫(yī)學(xué)診斷文本或病例對(duì)話數(shù)據(jù)，社區(qū)眾包雖能快速產(chǎn)出大批數(shù)據(jù)，但容易因醫(yī)學(xué)常識(shí)缺失而導(dǎo)致錯(cuò)標(biāo)、漏標(biāo)。為此，當(dāng)前部分醫(yī)學(xué)AI企業(yè)已采用“社區(qū)初標(biāo)+醫(yī)生專家復(fù)審+自動(dòng)異常檢測(cè)”的三級(jí)標(biāo)注機(jī)制：社區(qū)完成首輪標(biāo)注后，系統(tǒng)篩選出高不確定樣本交由專業(yè)醫(yī)生復(fù)核，并輔以模型評(píng)分機(jī)制進(jìn)行異常校驗(yàn)。這種“寬覆蓋+高可信”的組合，兼顧數(shù)據(jù)量與數(shù)據(jù)質(zhì)，確保關(guān)鍵語義信息的準(zhǔn)確性與穩(wěn)定性。

其三，數(shù)據(jù)治理與評(píng)估標(biāo)準(zhǔn)的體系聯(lián)動(dòng)。只有標(biāo)準(zhǔn)化，才能規(guī)?；卫?。以醫(yī)療問答系統(tǒng)為例，在訓(xùn)練數(shù)據(jù)集中設(shè)置癥狀-疾病-治療方案三元組的一致性規(guī)范、錯(cuò)配樣本的容忍度閾值（如：允許5%模糊標(biāo)簽誤差），以及回答內(nèi)容的上下文連貫性評(píng)分規(guī)則，都是構(gòu)建“數(shù)據(jù)集質(zhì)量管理系統(tǒng)”的基礎(chǔ)。在此基礎(chǔ)上，還可引入國際認(rèn)證標(biāo)準(zhǔn)（如HL7 FHIR、ICD-11等）作為標(biāo)注和審核參考，推動(dòng)從“經(jīng)驗(yàn)治理”走向“制度化約束”，增強(qiáng)模型行為的穩(wěn)定性與可解釋性。

其四，技術(shù)工具與治理制度的雙輪驅(qū)動(dòng)。噪聲治理既是技術(shù)問題，也關(guān)涉?zhèn)惱砼c信任議題。以醫(yī)療模型的訓(xùn)練為例，底層可部署標(biāo)簽平滑、偽標(biāo)簽校驗(yàn)、因果推理校驗(yàn)器等算法工具，有效緩解噪聲樣本帶來的訓(xùn)練擾動(dòng)；同時(shí)，上層制度也要同步跟進(jìn)，制定如“醫(yī)療信息采集紅線”“病患隱私屏蔽機(jī)制”等治理?xiàng)l款，規(guī)范數(shù)據(jù)的獲取、使用與再分發(fā)。通過軟硬聯(lián)動(dòng)的機(jī)制設(shè)計(jì)，實(shí)現(xiàn)“既自動(dòng)、又可信”的數(shù)據(jù)治理目標(biāo)，提升整個(gè)AI系統(tǒng)的社會(huì)接受度與倫理合規(guī)性。

由此，數(shù)據(jù)噪聲治理將從“單點(diǎn)清洗”走向“系統(tǒng)體檢”，從“孤島作業(yè)”邁向“生態(tài)協(xié)同”，孕育出一個(gè)由開發(fā)者、標(biāo)注者、審校者、平臺(tái)方和終端用戶共同參與的數(shù)據(jù)治理共同體。人工智能的發(fā)展如同一棵枝繁葉茂的樹，而數(shù)據(jù)，正是其賴以生長(zhǎng)的土壤與水源。噪聲問題的長(zhǎng)期存在，不僅拖慢了模型精度的爬坡進(jìn)程，也悄然侵蝕著系統(tǒng)的認(rèn)知邊界與價(jià)值判斷。當(dāng)下，數(shù)據(jù)集噪聲治理已不再是“可有可無”的邊緣環(huán)節(jié)，而是攸關(guān)AI演進(jìn)質(zhì)量與社會(huì)影響的基礎(chǔ)工程。唯有在理念上由“數(shù)據(jù)獲取”走向“數(shù)據(jù)培育”，在方法上由“單點(diǎn)優(yōu)化”轉(zhuǎn)向“協(xié)同治理”，在機(jī)制上由“工具治理”躍升為“生態(tài)構(gòu)建”，才能真正實(shí)現(xiàn)對(duì)數(shù)據(jù)集噪聲的前置發(fā)現(xiàn)、系統(tǒng)應(yīng)對(duì)與動(dòng)態(tài)凈化。

“澄沙汰礫而得金”，正是對(duì)數(shù)據(jù)集噪聲治理的最佳隱喻。它不是技術(shù)的附庸，而是智能演進(jìn)的前提。在通向通用人工智能的道路上，每一份被清洗的語料、每一處被修復(fù)的標(biāo)簽、每一次被遏止的“幻覺”，都是對(duì)“可信AI”的一次微小但堅(jiān)實(shí)的推動(dòng)，每一處噪聲的消除都是在拓展人機(jī)信任的疆域邊界。

基金項(xiàng)目：國家社會(huì)科學(xué)基金重點(diǎn)項(xiàng)目“基于數(shù)智融合的信息分析方法創(chuàng)新與應(yīng)用”；國家檔案局科技項(xiàng)目“基于生成式人工智能的檔案數(shù)據(jù)化關(guān)鍵方法及其應(yīng)用研究”。

致謝：感謝中國人民大學(xué)信息資源管理學(xué)院博士研究生王馳在本文完成過程中所提供的資料收集與整理支持。