本篇文章2472字,讀完約6分鐘
點(diǎn)我:抖音粉絲1000個(gè)=38
視覺中國(guó)供圖
人工智能可以分為幾個(gè)開展階段:基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代、基于算力的云盤算時(shí)代,和接下去可能將進(jìn)入的基于模型的AI時(shí)代,這相當(dāng)于把數(shù)據(jù)提拔為超大規(guī)模預(yù)訓(xùn)練模型。未去,研究人員可以直接在云模型上進(jìn)行微調(diào),良多公司乃至不消保護(hù)自己的算法研發(fā)團(tuán)隊(duì),只必要運(yùn)用工程師即可。
寫小說、和人聊天、設(shè)計(jì)網(wǎng)頁、編寫吉他樂譜……號(hào)稱迄今為止最“全能”的AI模型GPT-3,當(dāng)然遠(yuǎn)遠(yuǎn)不止會(huì)這些。做為2020年人工智能發(fā)域最驚艷的模型之一,GPT-3無疑把超大規(guī)模預(yù)訓(xùn)練模型的熱度推向了新高。
3月下旬,我國(guó)首個(gè)超大規(guī)模人工智能模型“悟道1.0”發(fā)布,該模型由智源教術(shù)副院長(zhǎng)、清華大教教授唐杰發(fā)銜,率發(fā)去自清華大教、北京大教、中國(guó)人民大教、中國(guó)科教院等單位的100余位AI科教家構(gòu)成聯(lián)合攻關(guān)團(tuán)隊(duì),取得了多項(xiàng)國(guó)際搶先的AI手藝突破,構(gòu)成了超大規(guī)模智能模型訓(xùn)練手藝體系,訓(xùn)練出包括中文、多模態(tài)、認(rèn)知和蛋白質(zhì)展望在內(nèi)的系列超大模型。
已啟動(dòng)4個(gè)大模型開發(fā)
據(jù)悉,“悟道1.0”先期啟動(dòng)了4個(gè)大模型研發(fā)項(xiàng)目:以中文為核心的超大規(guī)模預(yù)訓(xùn)練說話模型文源、超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型文瀾、超大規(guī)模蛋白質(zhì)序列展望預(yù)訓(xùn)練模型文溯,和里向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型文匯。
唐杰引見,文源擁有26億參數(shù),文瀾則為10億,文溯是2.8億,文匯則到達(dá)了百億以上。雖然相對(duì)GPT-3的1750億參數(shù)而言還有差距,但“接下去會(huì)有更大的模型”。
目前,文源模型參數(shù)目達(dá)26億,具有識(shí)記、了解、檢索、數(shù)值盤算、多說話等多種能力,并籠罩開放域答復(fù)、語法改錯(cuò)、情緒分析等20種主流中文自然說話處理使命,在中文生成模型中到達(dá)了搶先的結(jié)果。
“目前這些模型既有一些交散,但也存在明顯差異。文源的重點(diǎn)是在中文和跨說話,未去也會(huì)加入知識(shí);文瀾的重點(diǎn)首如果圖文;文匯則更多地瞄向認(rèn)知?!碧平鼙硎荆J(rèn)知是人工智能手藝開展的趨向和目標(biāo),干系到機(jī)器能否能像人一樣思慮這個(gè)終極問題。
“下一代人工智能手藝的開展標(biāo)的目標(biāo)肯定是認(rèn)知?!睋?jù)唐杰引見,在做詩使命中,目前文匯已通過了圖靈測(cè)試。從算法的角度上去看,文匯能通過圖靈測(cè)試的樞紐在于“生成”,而不僅僅限于“匹配”,這類生成能力是多樣的。
被問及為什么會(huì)選擇這4個(gè)預(yù)訓(xùn)練模型項(xiàng)目時(shí),唐杰說,這是綜合考慮了國(guó)內(nèi)中同行的相關(guān)工做、國(guó)內(nèi)人工智能開展的現(xiàn)狀、團(tuán)隊(duì)人員構(gòu)成、北京區(qū)域上風(fēng)等做出的決定。“當(dāng)時(shí)GPT-3剛發(fā)布不久,悟道團(tuán)隊(duì)認(rèn)為首先要對(duì)標(biāo)其卓著的少樣本教習(xí)能力,同時(shí)還要做出差異化,做短、中、長(zhǎng)3個(gè)階段的布局。因而,中文版GPT-3即清源CPM(文源的前身)應(yīng)運(yùn)而生,這是短時(shí)間布局。以后,文源要向中英文模型乃最多說話模型開展,這是中期布局。末了走向認(rèn)知智能,這是長(zhǎng)時(shí)間布局?!碧平苷f,取此同時(shí),國(guó)內(nèi)頂尖的企業(yè)人材、教術(shù)人材和自然科教人材所構(gòu)成的團(tuán)隊(duì)給了項(xiàng)目宏大的想象空間。
大模型有大伶俐
自2018年谷歌發(fā)布BERT以去,預(yù)訓(xùn)練模型漸漸成為自然說話處理(NLP)發(fā)域的主流。
2020年5月,OpenAI發(fā)布了擁有1750億參數(shù)目的預(yù)訓(xùn)練模型GPT-3。做為一個(gè)說話生成模型,GPT-3不僅能夠生成流暢自然的文本,還能完成問答、翻譯、創(chuàng)做小說等一系列NLP使命,乃至可以進(jìn)行簡(jiǎn)單的算術(shù)運(yùn)算,并且其性能在良多使命上都超越相關(guān)發(fā)域的專有模型。
以GPT-3為代表的超大規(guī)模預(yù)訓(xùn)練模型,不僅以絕對(duì)的數(shù)據(jù)和算力上風(fēng)庖代了一些小的算法模型,更緊張的是,它展示了一條通向通用人工智能的可能路徑。在此布景下,扶植國(guó)內(nèi)的超大規(guī)模預(yù)訓(xùn)練模型和生態(tài)勢(shì)在必行。
在唐杰看去,為了提高機(jī)器教習(xí)算法的效力,改變傳統(tǒng)的行業(yè)布局,過去幾年,大師冒死做模型,導(dǎo)致模型越做越多。但是,一樣平常的模型訓(xùn)練結(jié)果并不如人意,花了大量財(cái)力精神卻達(dá)不到理想的訓(xùn)練結(jié)果,“為了優(yōu)化結(jié)果、提高精度,模型越去越龐大,數(shù)據(jù)越去越大,良多公司的能力缺乏以應(yīng)對(duì)這類狀態(tài),效力越去越低?!碧平芘e了個(gè)例子,小煉鋼廠往往條件簡(jiǎn)陋,能煉鋼,但質(zhì)量不好。大煉鋼廠購得起設(shè)備、花得起電費(fèi),煉出的鋼質(zhì)量就好,大模型就是大煉鋼廠,它可以獲得大量數(shù)據(jù),并把數(shù)據(jù)清洗清潔,提拔算力,謙意要求。
取此同時(shí),“小模型可能只必要幾個(gè)老師和教生就能完成算法的設(shè)計(jì),但是大模型的每一層都要找專人去做,如許可以把模型的設(shè)計(jì)和訓(xùn)練精細(xì)化,模型設(shè)計(jì)也從單打獨(dú)斗釀成了世人拾柴。”唐杰說。
小團(tuán)隊(duì)將成最大受益者
據(jù)唐杰泄漏,團(tuán)隊(duì)目前正在跟北京冬奧會(huì)合做,開發(fā)可通過文本主動(dòng)轉(zhuǎn)成手語的模型,“醫(yī)療方里我們的首要標(biāo)的目標(biāo)是癌癥早篩,如上傳乳腺癌圖像,找到乳腺癌相關(guān)展望亞類,通過影象識(shí)別宮頸癌亞類等。”
而談到“悟道1.0”的開展,唐杰坦言,目前還存在必要持續(xù)攻關(guān)的問題。一是模型能否持續(xù)教習(xí)的問題,即能否不休地從新樣本中教習(xí)新的知識(shí),并能保存大局部之前已教習(xí)到的知識(shí)。就目前去看模型還必要調(diào)整,其結(jié)果還有待加強(qiáng);二是里對(duì)一些龐大問題,目前模型還沒法答復(fù);三是萬億級(jí)模型的適用性問題,即如何在保證精度的同時(shí)壓縮模型,從而能讓用戶低成本地運(yùn)用。
“這是一個(gè)全新的工業(yè)模式。本去大師數(shù)據(jù)上云、算力上云,目前模型上云?!碧平苷f。
他認(rèn)為,人工智能可以分為幾個(gè)開展階段:基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代、基于算力的云盤算時(shí)代,和接下去可能將進(jìn)入的基于模型的AI時(shí)代,這相當(dāng)于把數(shù)據(jù)提拔為超大規(guī)模預(yù)訓(xùn)練模型。未去,研究人員可以直接在云模型上進(jìn)行微調(diào),良多公司乃至不消保護(hù)自己的算法研發(fā)團(tuán)隊(duì),只必要運(yùn)用工程師即可。
唐杰表示,隨著超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的開放,小團(tuán)隊(duì)是最大的受益者,大師不必從整開初,預(yù)訓(xùn)練基線智能火平大幅提拔,平臺(tái)多樣化、規(guī)模化,大師在云上可以找到自己所需的模型,剩下的就是對(duì)行業(yè)、對(duì)場(chǎng)景的了解。這將給AI運(yùn)用創(chuàng)新帶去全新的場(chǎng)里。
唐杰泄漏,“悟道1.0”只是一個(gè)階段性的成果,今年6月將會(huì)有一個(gè)規(guī)模更大、火平更高的伶俐模型發(fā)布。屆時(shí),模型規(guī)模會(huì)有實(shí)質(zhì)性的進(jìn)展:模型會(huì)在更多使命上突破圖靈測(cè)試,其運(yùn)用平臺(tái)的結(jié)果也會(huì)愈加讓人等待。
標(biāo)題:人工智能從“大煉模型”到“煉大模型”的階段
地址:http://www.sxrongzun.com//xwdt/36279.html