深度神經(jīng)網(wǎng)絡(luò)是一種人工智能（AI），可模仿人類大腦處理信息，但了解這些網(wǎng)絡(luò)如何“思考”一直是一個(gè)挑戰(zhàn)。據(jù)外媒報(bào)道，日本九州大學(xué)（Kyushu University）的研究人員開發(fā)出新方法，以了解深度神經(jīng)網(wǎng)絡(luò)如何解釋信息并將其分類。

圖片來源：期刊《IEEE Transactions on Neural Networks and Learning Systems》

相關(guān)研究論文發(fā)表在期刊《IEEE Transactions on Neural Networks and Learning Systems》。新研究方法解決了確保人工智能系統(tǒng)準(zhǔn)確、穩(wěn)健并能滿足安全使用標(biāo)準(zhǔn)的重要需求。

深度神經(jīng)網(wǎng)絡(luò)通過多層處理信息，類似于人類一步步解決難題。第一層稱為輸入層，用于輸入原始數(shù)據(jù)。后續(xù)層稱為隱藏層，用于分析信息。早期的隱藏層專注于基本特征，例如檢測邊緣或紋理（如檢查單個(gè)拼圖塊）。

更深的隱藏層結(jié)合這些特征來識別更復(fù)雜的模式，例如識別貓或狗（類似于連接拼圖塊以揭示更大的圖景）。

“然而，這些隱藏層就像一個(gè)上鎖的黑匣子：我們可以看到輸入和輸出，但里面發(fā)生的事情并不清楚，”九州大學(xué)信息科學(xué)與電氣工程學(xué)院副教授Danilo Vasconcellos Vargas表示。“當(dāng)人工智能犯錯(cuò)時(shí)，這種缺乏透明度的問題就會變得非常嚴(yán)重，有時(shí)錯(cuò)誤是由一個(gè)像素的微小變化引發(fā)的。人工智能可能看起來很聰明，但了解它如何做出決定是確保其值得信賴的關(guān)鍵。”

目前，可視化AI如何組織信息的方法依賴于將高維數(shù)據(jù)簡化為2D或3D表示。這些方法讓研究人員可以觀察AI如何對數(shù)據(jù)點(diǎn)進(jìn)行分類——例如，將貓的圖像與其他貓的圖像分組，同時(shí)將它們與狗分開。然而，這種簡化帶來了嚴(yán)重的局限性。

“當(dāng)我們將高維信息簡化為更少的維度時(shí)，就像將3D對象展平為2D一樣——我們會丟失重要的細(xì)節(jié)并且無法看到整個(gè)畫面。此外，這種可視化數(shù)據(jù)分組方式的方法使得難以在不同的神經(jīng)網(wǎng)絡(luò)或數(shù)據(jù)類之間進(jìn)行比較，”Vargas解釋道。

在這項(xiàng)研究中，研究人員開發(fā)了一種新方法，稱為k*分布（k* distribution）方法，可以更清晰地可視化和評估深度神經(jīng)網(wǎng)絡(luò)將相關(guān)項(xiàng)目歸類在一起的效果。

該模型的工作原理是為每個(gè)輸入的數(shù)據(jù)點(diǎn)分配一個(gè)“k*值”，該值表示到最近的不相關(guān)數(shù)據(jù)點(diǎn)的距離。高k*值表示數(shù)據(jù)點(diǎn)分離良好（例如，一只貓遠(yuǎn)離任何狗），而低k*值表示可能重疊（例如，一只狗比其他貓更靠近一只貓）。當(dāng)查看一個(gè)類別中的所有數(shù)據(jù)點(diǎn)（例如貓）時(shí)，這種方法會產(chǎn)生k*值的分布，從而提供數(shù)據(jù)組織方式的詳細(xì)圖片。

“我們的方法保留了高維空間，因此不會丟失任何信息。這是第一個(gè)也是唯一一個(gè)能夠準(zhǔn)確了解每個(gè)數(shù)據(jù)點(diǎn)周圍‘局部鄰域’的模型，”Vargas強(qiáng)調(diào)道。

研究人員利用新方法發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)將數(shù)據(jù)分類為聚類、破碎或重疊排列。在聚類排列中，相似的項(xiàng)目（例如貓）緊密地分組在一起，而不相關(guān)的項(xiàng)目（例如狗）則明顯分開，這意味著人工智能能夠很好地對數(shù)據(jù)進(jìn)行分類。

然而，破碎排列表明相似的物品分散在廣闊的空間中，而當(dāng)不相關(guān)的物品位于同一空間時(shí)，就會出現(xiàn)重疊分布，這兩種排列方式都更容易導(dǎo)致分類錯(cuò)誤。

Vargas將其與倉庫系統(tǒng)進(jìn)行了比較：“在一個(gè)組織良好的倉庫中，相似的物品存放在一起，使檢索變得簡單而高效。如果物品混在一起，它們會變得更難找到，從而增加了選擇錯(cuò)誤物品的風(fēng)險(xiǎn)。”

人工智能越來越多地應(yīng)用于自動駕駛汽車和醫(yī)療診斷等關(guān)鍵系統(tǒng)，在這些系統(tǒng)中，準(zhǔn)確性和可靠性至關(guān)重要。k*分布方法可幫助研究人員甚至立法者評估人工智能如何組織和分類信息，從而找出潛在的弱點(diǎn)或錯(cuò)誤。

這不僅支持將人工智能安全地融入日常生活所需的合法化進(jìn)程，而且還提供了有關(guān)人工智能如何“思考”的寶貴見解。通過確定錯(cuò)誤的根本原因，研究人員可以改進(jìn)人工智能系統(tǒng)，使其不僅準(zhǔn)確而且強(qiáng)大——能夠處理模糊或不完整的數(shù)據(jù)并適應(yīng)意外情況。

“我們的最終目標(biāo)是創(chuàng)建即使面臨現(xiàn)實(shí)世界場景的挑戰(zhàn)也能保持精確性和可靠性的人工智能系統(tǒng)，”Vargas總結(jié)道。