大型語言模型向人們展示了一條通向通用人工智能的嶄新路徑。復(fù)旦大學(xué)MOSS語言模型開發(fā)者、自然語言處理實驗室邱錫鵬教授近日在發(fā)表在大學(xué)公眾號上的一篇深度訪談中預(yù)測，未來5到10年，人們會像現(xiàn)在接受搜索引擎一樣，接受通用人工智能。

長期以來，巨頭公司都在致力于打造通用型人工智能（AGI），ChatGPT如此強大的語言模型讓技術(shù)人員看到了希望。所謂AGI，是指人工智能可以理解或?qū)W習(xí)人類能完成的任何智力任務(wù)的能力。

(資料圖)

邱錫鵬表示：“中國要想站在大型語言模型或者將來的通用人工智能等技術(shù)的最前沿，就必須要建設(shè)自己的語言模型基座。”

他表示，MOSS的定位是自然語言處理領(lǐng)域乃至是通用人工智能領(lǐng)域最前沿的探索。“也許工業(yè)界更看重它的落地性能，而我們更看重它的下一代發(fā)展，即如何實現(xiàn)通用人工智能。”邱錫鵬表示。

據(jù)介紹，復(fù)旦MOSS開發(fā)近百人的團隊中，大型語言模型基座研究相關(guān)的學(xué)生超過30人。

業(yè)內(nèi)普遍相信，AGI能夠解決世界上面臨的最難的問題，將會成為AI史上最重要的技術(shù)發(fā)展，有可能重塑人類發(fā)展的軌跡。

早在2019年，微軟和OpenAI在合作之初就曾表示，雙方的目標是讓通用人工智能與人合作，共同解決目前棘手的跨領(lǐng)域、跨專業(yè)的問題，包括氣候變化、個人健康、以及教育等全球的挑戰(zhàn)。

OpenAI首席執(zhí)行官山姆·阿爾特曼（Sam Altman）日前在《福布斯》雜志的采訪中談及公司是否已經(jīng)接近實現(xiàn)通用人工智能的問題時表示否認，但他稱“朝著AGI的方向發(fā)展是驅(qū)動OpenAI所有行動的推動力”。

阿爾特曼說道：“我不認為我們已經(jīng)快要實現(xiàn)AGI了。我最近一直在思考我們?nèi)绾沃繟GI會何時實現(xiàn)的問題。在過去五年多里，我對AGI的認知是它不會一蹴而就，將是一個漸進的過程，或者說是緩慢起飛，但我?guī)缀跛械男袆颖澈蠖际鞘芩?qū)動。”

邱錫鵬認為，國外開發(fā)者不太可能以中文為主去發(fā)展他們的模型，中國要想開發(fā)一個大型語言模型的基座，用于國內(nèi)的信息處理，就必須建設(shè)一個中文能力非常強的大型語言模型。

盡管MOSS在參數(shù)規(guī)模上和ChatGPT相比小一個量級，但邱錫鵬表示，開發(fā)MOSS模型，是想在百億規(guī)模參數(shù)上探索和驗證ChatGPT的技術(shù)路線，以證明中國團隊在技術(shù)實現(xiàn)上并不落后于國外。“我們想證明，在有限的資源下，也能做出類ChatGPT模型。”他說道。

與ChatGPT相比，MOSS除了參數(shù)較小之外，迭代能力也有所不同。在邱錫鵬看來，用戶量越大，交互數(shù)據(jù)越多，模型的迭代能力就越強。ChatGPT作為新一輪人工智能賽跑的領(lǐng)跑者，已經(jīng)基于模型和大量數(shù)據(jù)實現(xiàn)了“飛輪效應(yīng)”，拉開了與其他大模型在事實類知識儲備上的差距。

不過他強調(diào)，人們在關(guān)注大型語言模型的時候，更應(yīng)該看重它的理解能力、學(xué)習(xí)能力以及思維能力，而不是看重它的事實類知識儲備。“如果從邏輯類能力來看，我覺得MOSS的表現(xiàn)其實還不錯。”邱錫鵬表示。

在他看來，規(guī)模較小的模型也可以找到特定的應(yīng)用場景，例如可以在企業(yè)內(nèi)部私有部署，經(jīng)過一些數(shù)據(jù)微調(diào)就可以轉(zhuǎn)化為生產(chǎn)力。

在構(gòu)建MOSS的數(shù)據(jù)語料方面，邱錫鵬表示，團隊已經(jīng)開始自己構(gòu)造一些高質(zhì)量的中文數(shù)據(jù)，但仍需要時間。此外，MOSS還會開放接口并實現(xiàn)開源，把研究成果無償?shù)胤窒斫o學(xué)術(shù)界，在合法合規(guī)的前提下把研究成果開放給業(yè)界。

標簽： 人工智能 ChatGPT MOSS