<table id="ej5zp"></table>

  • 展會信息港展會大全

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%
    來源:互聯網   發布日期:2022-02-10 09:24:40   瀏覽:14555次  

    導讀:機器之心原創 作者:蛋醬 有了騰訊 3D 手語數智人主播「聆語」的精彩解說,即使是身處「無聲世界」的群體也能實時感受冰雪賽事的每一份激情。 「中國首金...

    機器之心原創

    作者:蛋醬

    有了 3D 手語數智人主播「聆語」的精彩解說,即使是身處「無聲世界」的群體也能實時感受冰雪賽事的每一份激情。

    「中國首金9

    「你永遠可以相信中國短道速滑9

    2 月 5 日晚上的首都體育館,在短道速滑混合團體 2000 米接力決賽中,中國隊擊敗對手,奪得中國首金。

    和萬千觀眾共同見證這一重要時刻的,還有 3D 手語數智人主播「聆語」,并用手語傳遞了這份喜悅:「最后一個彎道!武大靖率先沖出彎道,通過終點9

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    在央視頻多場賽事中, 3D 手語數智人「聆語」作為「AI 手語翻譯官」,提供了手語解說服務,讓處于無聲世界中的特殊人群也能「聽」到中國舉辦冰雪賽事的盛況,進一步提升了聽障人士的觀看體驗。

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    「聆語」解說短道速滑男子 1000 米決賽,任子威奪金。

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    自由式滑雪女子大跳臺決賽,中國選手谷愛凌奪得金牌。

    我們為什么需要 AI 手語數智人主播?

    在很多體育賽事中,敏銳、專業、生動、準確的賽事解說可以稱得上是觀賽過程的「靈魂」所在。但是對于聽障人士來說,如果沒有實時的手語解說服務,他們很難和其他觀眾一樣充分感受到比賽現場的這份激情。

    在本次北京冬奧會的觀眾中,有一位來自武漢的聽障人士。他表示,自己一直對冰雪賽事很關注,但在觀看比賽時,最擔心的地方就是「主持人語速較快,很容易錯過一些內容」。

    「如果體育賽事能夠借助 AI 手語翻譯及時傳遞動態,我的觀賽體驗也會大大提升!

    根據第二次全國殘疾人抽樣調查結果,中國有聽障人士 2780 萬人。手語是聽障人士之間相互交流思想、獲取外界信息的語言。目前許多新聞資訊、文娛節目中都缺少手語翻譯,手語主持人「明顯供不應求」,這為聽障人士接收信息帶來了不小的阻礙。

    目前,大眾對冰雪賽事的關注熱情創下新高,這對大型賽事電視觀賽體驗提出了更高的要求,其中也包括對手語解說服務需求的提升。AI 手語數智人主播迎來了更加廣闊的應用場景。

    AI 手語數智人主播可以通過建立健聽人語言體系、逼真的畫面語言、連貫自然的動作和新詞熱詞快速適配,提升 AI 手語表達的可懂度。

    2022 年 2 月, 3D 手語數智人「聆語」在央視頻 APP 落地,「聆語」也迎來了自己的第一份工作:央視頻 AI 手語翻譯官。

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    3D 手語數智人「聆語」由云小微聯合 PCG AI 等技術團隊共同打造,整合多模態交互技術、3D 數字人建模、機器翻譯、語音識別和自然語言理解等技術,讓「聆語」的手語表達能力接近真人。自主研發了一套可視化動作編輯平臺,為更專業的手語老師提供了友好的工具平臺,可以讓手語老師高效率的對全量手語動作進行精修。

    截至目前, 3D 手語數智人「聆語」詞匯和語句覆蓋量超過 160 萬,并針對體育賽事做了大量定向優化,手語可懂度 90% 以上,技術水準行業領先。

    團隊表示,他們希望為聽障人士打造手語數智人,通過自身積累的 AI 技術,打造一款可懂度高的數智人,用技術為聽障人士提供便利,這也是一直強調「科技向善」的理念。

    打造 3D 手語數智人「聆語」有何挑戰?

    正如命名「聆語」所示,這款 3D 手語數智人是聽障人士真正可懂的手語數字人。相比于其他的數智人,的手語數智人在技術上具備多項優勢。

    對于觀眾來說,如果數字人在表達時出現神態和動作僵硬不自然的問題,那么觀感就會大打折扣。

    在外觀方面,「聆語」依托領先的 3D 重光照掃描還原、面部肌肉驅動、表情肢體手勢捕捉等技術,生成了高度還原真人發膚、動作自然生動的數字人。

    笑意盈盈、一襲清爽藍色套裝的「聆語」最初亮相,就顯著提升了手語播報的真實感與親切感:

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    更具挑戰性的是,與一般的口頭表達相比,手語是一套視覺語言,存在語序、表情和口型呈現等諸多問題,更不用說在表達過程中手勢切換的流暢連貫性了。這些問題都要求 AI 手語主播需要具備較高的手語表達能力和精準連貫的手語呈現能力。

    如何讓「聆語」像專業的手語主持人一樣,實時、精準地傳遞解說內容,有效提高手語表達可懂度?

    在手語動作方面,為了讓「聆語」實現流暢的交互,團隊的程序員們啃起了《國家通用手語詞典》,并讓「聆語」在上崗之前也認真學習了《國家通用手語詞典》的規范。

    經過漫長的手語調研、手語顧問團隊建設,團隊開發出了一套手語翻譯系統。在手語解說時,「聆語」首先通過健聽人語言與聽障者手語的機器翻譯能力,將健聽人語言內容低延遲生成高準確率的手語語言表征。示例如下:

    輸入:他是我的手語老師

    預處理:他 是 我 的 手語 老師

    翻譯:他 我 手語 老師 是

    隨后,「聆語」基于多模態端到端生成模型,進行聯合建模及預測生成高準確率的動作、表情、唇動等序列,實現自然專業、易懂度高的手語效果。得益于云小微和PCG AI 在語音技術領域的長期積累,「聆語」的 AI 手語可懂度達到了90%以上。

    賽場手語翻譯的難點,包括要通過 ASR 技術,將比賽解說的語音從賽場現場的復雜環境聲音中分離出來進行精準的識別,然后再將識別出來的文本信息進行智能摘要,使手語翻譯能夠和主持人語速達到匹配。接下來,將手語翻譯生成手語視頻,保證每個動作準確的同時,也要實現動作與動作之間的精準銜接。

    在信息準確率方面,「聆語」還可以快速學習時下的新詞熱詞,快速完成各種行業、業務場景和相關知識的學習,提升翻譯準確性。

    比如 17 歲小將蘇翊鳴被稱為「小栓子」,再比如谷愛凌,需要「首字母 + 唇形」才能定義成特殊的詞。借助的大數據技術能力,「聆語」能夠做到快速及時地掌握熱詞,并進行手語詞匯補充。

    此外,「聆語」更貼合業務,產品落地能力更強。團隊綜合運用 3D 數字人建模、機器翻譯、多模態數字人生成、遷移學習、實時面部動作生成及驅動等多項 AI 技術,加深其感知理解,「聆語」支持業務場景更加豐富,業務數據積累量也更大。

    AI 手語合成主播未來可期

    隨著 AI 交互智能的技術發展和應用落地,數智人已經成為很多行業的數字員工,輔助人類提供更加高效、精準的服務。

    在新聞傳媒領域,在 2021 年 10 月,廣電總局在《廣播電視和網絡視聽「十四五」科技發展規劃》中也首次明確指出,要推動虛擬主播、動畫手語廣泛應用于新聞播報、天氣預報、綜藝科教等節目生產,創新節目形態,提高制播效率和智能化水平。

    一直以來,云小微始終致力于推動 AI 交互智能領域的技術發展和產業應用落地。此前,云小微聯合 PCG AI 及 AI Lab 等技術力量,打造了多個數智人方案,為大眾提供客服、導覽、講解等多樣化服務,涉及金融、傳媒政務、家居、教育、展會、交通等眾多領域。

    中國隊奪金幕后的“AI手語翻譯官”:初次上崗,手語可懂度超90%

    未來,來自技術團隊的「聆語」還將在更多場景提供服務,幫助聽障人士和正常人一樣了解、交流新聞時事,助力實現更好的無障礙信息傳播環境。

    贊助本站

    人工智能實驗室
    AiLab云推薦
    展開
    Copyright © 2010-2022 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
    18禁无遮拦无码国产在线播放

    <table id="ej5zp"></table>