AI手語識別技術(shù)存在的挑戰(zhàn)

目前，該系統(tǒng)只能在柜臺設(shè)備上使用。聾人可以通過手語在鏡頭前交流。然后系統(tǒng)利用圖像識別技術(shù)，分析人體手指、手臂等幾個部位的骨骼運(yùn)動，將手勢翻譯成日語，顯示在工作人員的電腦屏幕上。然后，口頭回復(fù)以文字的形式出現(xiàn)在聾啞人面前的屏幕上，使交流更加順暢。

該系統(tǒng)的核心技術(shù)由2018年谷歌投資的ABEJA提供。ABEJA的核心產(chǎn)品是利用機(jī)器學(xué)習(xí)幫助公司從數(shù)據(jù)堆中進(jìn)行業(yè)務(wù)分析。在這個項目中，ABEJA讓AI學(xué)習(xí)了5萬個手語視頻，這樣它就可以捕捉手語的特點和變化。目前，該系統(tǒng)可以將手勢準(zhǔn)確翻譯成約1500個日語單詞。

早在2015年，就有關(guān)于手語識別的研究。

人工智能技術(shù)的出現(xiàn)和逐漸成熟，不僅有利于產(chǎn)業(yè)升級，事實上，從很早開始，就有研究人員嘗試用AI技術(shù)幫助聾人更順暢地交流。

2015年9月，沙特一位設(shè)計師專門研發(fā)了一款內(nèi)置傳感器的無線智能手套。當(dāng)聾啞人進(jìn)行交流時，傳感器可以根據(jù)手指運(yùn)動跟蹤手勢，然后通過語言軟件將其轉(zhuǎn)換為聲音和單詞。在初期，這款無線智能手套只能說法語、英語和阿拉伯語，研究團(tuán)隊表示未來將支持更多語言。

我國早就有相關(guān)研究。2016年，有媒體報道東大自動化專業(yè)的李寧等同學(xué)開發(fā)了一種新型手語識別發(fā)聲系統(tǒng)，這是一種結(jié)合了人體生物和姿勢信息的便攜式手語發(fā)聲裝置。聾人可以通過手語讓機(jī)器發(fā)聲和翻譯。

2018年，東北大學(xué)還開發(fā)了一個智能系統(tǒng)，幫助聽力障礙者進(jìn)行交流，該系統(tǒng)由一個智能傳感器手環(huán)、一個前端APP和云服務(wù)組成。智能傳感器手環(huán)可以捕捉和識別聽力障礙者的手語動作，并轉(zhuǎn)換成云端的文字和聲音，呈現(xiàn)在APP端，傳輸給非手語用戶。同時，非手語用戶的語音可以在APP端轉(zhuǎn)化為文字和手語動畫的“雙語形式”。

百度、騰訊等互聯(lián)網(wǎng)巨頭也進(jìn)行了相關(guān)研究。2019年，百度在AI開發(fā)者大會上提出了“人人都能AI”的理想，意思是每個人都能平等地?fù)碛薪邮誂I的能力。百度基于百度飛槳的開源內(nèi)容構(gòu)建了一個訓(xùn)練模型。通過收集手勢數(shù)據(jù)，并在手機(jī)的幫助下將其轉(zhuǎn)換為短信，聽力障礙的人可以像咖啡館和餐館里的正常人一樣，使用翻譯來點菜和交流。

優(yōu)圖人工智能手語翻譯界面

同樣是在2019年，騰訊優(yōu)圖實驗室還推出了一款基于自研算法的優(yōu)圖AI手語翻譯機(jī)，該翻譯機(jī)使用普通攝像頭作為手語采集設(shè)備，用戶正在向攝像頭完成手語表達(dá)，翻譯機(jī)通過后臺操作可以快速將手語翻譯成文字。據(jù)介紹，UTO  AI手語翻譯機(jī)的數(shù)據(jù)集涵蓋了近千個日常表達(dá)，包括900個常用詞，同時對數(shù)據(jù)進(jìn)行分析總結(jié)，是目前最大的中文手語識別數(shù)據(jù)集。

手語識別技術(shù)面臨巨大挑戰(zhàn)。

與其他AI視覺識別技術(shù)相比，手語識別的研發(fā)難度更大。在東北大學(xué)2018年的研究中，揭示了手語言識別研究中的實際問題，即每個聾人的手語規(guī)劃不同，同一單詞所扮演的手勢也不同，因此智能識別可能不那么準(zhǔn)確。

幸運(yùn)的是，2018年中央發(fā)布了《國家通用手語標(biāo)準(zhǔn)方案》，極大地有利于后續(xù)手語向文字或語音轉(zhuǎn)換的研究。即便如此，仍可能存在微妙的差異

百度還談到了另一個主要困難，那就是用于訓(xùn)練模型的數(shù)據(jù)量很小。在上述日語項目中，一位參與開發(fā)的軟銀工程師也表示，需要大量的手語數(shù)據(jù)來構(gòu)建一個能夠?qū)⒎枩?zhǔn)確翻譯成日語的模型。因此，他們呼吁更多的人通過網(wǎng)站等方式發(fā)送手語圖像數(shù)據(jù)。

總結(jié)

在提升服務(wù)業(yè)的同時，AI技術(shù)也能極大地幫助聾啞人更好地交流，這是這個時代的福音。根據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果，我國有聽力障礙者2780萬人。使用人工智能技術(shù)將手語實時翻譯成單詞和聲音將是非常有意義的。

日本聾人聯(lián)合會認(rèn)為，要讓人工智能成為聾人的有效工具，還需要很長時間。然而，顯而易見的是，從2015年到現(xiàn)在，手語識別正在逐步取得進(jìn)展，相當(dāng)多的研究人員和企業(yè)參與其中。未來取得更大的進(jìn)步還是值得期待的。