中科院自動化所發佈跨模態通用人工智能平台“紫東太初”

2021年07月09日20:22

來源:中國新聞網

  中新網北京7月9日電 (記者 孫自法)中國科學院自動化研究所(中科院自動化所)成功研發的跨模態通用人工智能(AI)平台“紫東太初”9日正式對外發布,其以多模態大模型為核心,基於全棧國產化基礎軟硬件平台,可支撐全場景AI應用。

  中科院自動化所所長、中國科學院大學人工智能學院院長徐波研究員當天在2021世界人工智能大會上就人工智能的最新進展做學術報告,發佈“紫東太初”並展示該所最新打造的虛擬人“小初”,對通用多模態大模型的人機對話進行演示。

  徐波介紹説,依託面向超大規模的高效分佈式訓練框架,中科院自動化所構建出具有業界領先性能的中文預訓練模型、語音預訓練模型、視覺預訓練模型,並開拓性地通過跨模態語義關聯實現圖文音(視覺-文本-語音)三模態統一表示,構建三模態預訓練大模型,賦予跨模態通用人工智能平台多種核心能力。

  “紫東太初”兼具跨模態理解和生成能力,與單模態和圖文兩模態相比,其採用一個大模型就可以靈活支撐圖文音全場景AI應用,具有在無監督情況下多任務聯合學習、快速遷移到不同領域數據的強大能力。其引入語音模態後的多模態預訓練模型,可實現共性圖文音語義空間表徵和利用,並突破性直接實現三模態的統一表示。

  徐波指出,“紫東太初”跨模態通用人工智能平台包括三大關鍵技術和六大核心能力。三大關鍵技術分別是:多模態理解與生成多任務統一建模、面向國產化軟硬件的高效訓練與部署、多模態預訓練模型架構設計與優化;六大核心能力則體現為:多模態統一表示與語義關聯、跨模態內容轉化與生成、預訓練模型網絡架構設計、標註受限自監督模型學習、模型適配與分佈式訓練、模型輕量化與推理加速。

  他表示,“大數據+大模型+多模態”將改變當前單一模型對應單一任務的人工智能研發範式,多模態大模型將成為不同領域的共性平台技術,是邁向通用人工智能路徑的探索,具有廣闊應用前景。

  同時,中科院自動化所全棧國產化通用人工智能平台的成功實踐,將使人工智能研發的規則發生重大變革,對中國實現人工智能領域科技創新、佔領核心技術高地具有重要意義。

  基於“紫東太初”打造的虛擬人“小初”,形象展示出不同模態間的互相轉換和生成實例,涵蓋視頻描述、智能問答、圖像檢索、吟詩作賦、中文續寫、雙語翻譯、語音識別等多個功能。徐波認為,這表明,通過圖文音三模態的關聯與協同,可以有效提升機器的理解和生成能力,讓AI接近人類想象力。(完)

編輯:郭同歡

我來説兩句 0條評論 0人蔘與,