《科創(chuàng)板日?qǐng)?bào)》3月16日訊（記者 黃心怡），今日百度召開(kāi)文心一言新聞發(fā)布會(huì)，宣布開(kāi)啟邀請(qǐng)測(cè)試。《科創(chuàng)板日?qǐng)?bào)》記者第一時(shí)間拿到了文心一言的內(nèi)測(cè)碼，實(shí)際測(cè)試了文心一言的效果。整體而言，百度文心一言能夠基本完成發(fā)布會(huì)上所演示的問(wèn)題回答和圖片生成。但在某些問(wèn)題理解上仍有待進(jìn)一步完善。

首先，《科創(chuàng)板日?qǐng)?bào)》提出了一個(gè)比較常見(jiàn)的問(wèn)題：你和chatGPT的區(qū)別是什么？

可以看到，文心一言的中文組織能力表現(xiàn)不錯(cuò)，能夠語(yǔ)句通順地問(wèn)答完整。

隨后，我們又問(wèn)了關(guān)于國(guó)內(nèi)涉足預(yù)訓(xùn)練大模型的公司有哪些？文心一言回答得也較為全面。

記者嘗試了一個(gè)需要涉及信息搜索的問(wèn)題。

特斯拉在國(guó)內(nèi)過(guò)去五個(gè)月、過(guò)去一年的銷量是多少？文心一言的答案是：

而記者直接通過(guò)百度搜索獲得答案是：乘聯(lián)會(huì)發(fā)布的統(tǒng)計(jì)數(shù)據(jù)顯示，2023年1月份，特斯拉中國(guó)銷量達(dá)66051輛，環(huán)比增長(zhǎng)18%；月出口39208輛。

文心一言沒(méi)有能夠抓取到正確的數(shù)據(jù)來(lái)源，仍有待進(jìn)一步優(yōu)化。

在發(fā)布會(huì)現(xiàn)場(chǎng)，百度重點(diǎn)展示了文心一言在五個(gè)場(chǎng)景下的綜合能力。根據(jù)其演示的demo，文心一言不僅具備了文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算等大語(yǔ)言模型較常見(jiàn)的優(yōu)勢(shì)和能力，還表現(xiàn)出了中文理解、多模態(tài)生成能力。

《科創(chuàng)板日?qǐng)?bào)》記者特地從這些方面進(jìn)行了測(cè)試。

首先是文學(xué)創(chuàng)作，記者讓其仿造三體風(fēng)格寫一篇800字的科幻小說(shuō)。

文心一言的回答是：

之后，記者讓其編寫一首與小黃鴨有關(guān)的兒歌，文心一言在十幾秒時(shí)間內(nèi)完成了。

對(duì)于打工人來(lái)說(shuō)，寫工作總結(jié)是一件令人頭疼的事。記者也為此提問(wèn)了文心一言。

從答案來(lái)看，似乎是程序員的工作總結(jié)，寫得較為工整。

然后，記者試了試文心一言在商業(yè)文案創(chuàng)作方向的能力。

我們讓文心一言寫一段針對(duì)雙11促銷的童裝營(yíng)銷文案，并設(shè)定了“用料健康、性價(jià)比高”的關(guān)鍵詞。

顯然，文心一言理解了關(guān)鍵詞的含義，并且把“用料健康、性價(jià)比高”融合在了文案之中。

記者繼續(xù)讓其生成針對(duì)AI醫(yī)療公司的中秋節(jié)海報(bào)文案。

從答案來(lái)看，文心一言能夠準(zhǔn)確地理解問(wèn)題的中文含義，只是文采仍有待提高。

記者又讓它對(duì)一家大數(shù)據(jù)和商業(yè)智能公司起名。

文心一言給出的公司起名，只能說(shuō)非常地“望文生義”吧。

之后，記者讓文心一言寫一首“祝你生日快樂(lè)”的藏頭詩(shī)。

這次表現(xiàn)不俗，在10秒左右就完成了，并實(shí)現(xiàn)了押韻。

李彥宏認(rèn)為，“藏頭詩(shī)”很考驗(yàn)AI對(duì)中文和中國(guó)文化的理解，能比較清楚地展示了文心一言在中文上的優(yōu)勢(shì)?！安贿^(guò)，相對(duì)應(yīng)的，一言目前對(duì)英文語(yǔ)種、代碼場(chǎng)景的訓(xùn)練還不夠多，表現(xiàn)還不夠好，接下來(lái)我們還要加緊訓(xùn)練，不斷完善這些能力。”

接著，記者希望考一下文心一言的數(shù)理邏輯推算能力，在發(fā)布會(huì)上，文心一言順利答對(duì)了雞兔同籠的經(jīng)典題目。

《科創(chuàng)板日?qǐng)?bào)》從網(wǎng)絡(luò)上找了幾道小升初數(shù)學(xué)題目。

比如：雞和免放在一只籠子里，上面有 29 個(gè)頭，下面有 92 只腳。問(wèn): 籠中有雞、兔各多少只?

文心一言的答案是12只雞，17只兔，與標(biāo)準(zhǔn)答案一致。

但對(duì)于其他數(shù)學(xué)題，文心一言則有失誤。

2分和5分的硬幣共36 枚,共值 99分。問(wèn)：兩種硬幣各多少枚?

正確答案是2分27枚，5分9枚。但文心一言沒(méi)有算對(duì)。

某次數(shù)學(xué)競(jìng)賽共20道題，評(píng)分標(biāo)準(zhǔn)為每做對(duì)一題得5分，每做錯(cuò)或不做一題扣1分。小華參加了這次競(jìng)賽，得了64分。問(wèn):小華做對(duì)幾道題?

正確答案應(yīng)該是14題，而文心一言得出了16題。

李彥宏在發(fā)布會(huì)上表示，文心一言已具備了一定的思維能力，能夠?qū)W會(huì)數(shù)學(xué)推演及邏輯推理這類相對(duì)復(fù)雜任務(wù)。但現(xiàn)階段準(zhǔn)確率還不是100%，還需要給它更多的時(shí)間來(lái)學(xué)習(xí)和成長(zhǎng)。

李彥宏還在現(xiàn)場(chǎng)演示了多模態(tài)生成方向的Demo，>比如為2023世界智能交通大會(huì)創(chuàng)作一張海報(bào)。以下為演示效果：

在實(shí)際測(cè)試中，文心一言似乎還不具備為大會(huì)生成海報(bào)的功能，只是給出了一些設(shè)計(jì)建議。

不過(guò)，對(duì)于帶有關(guān)鍵詞的簡(jiǎn)單圖片，文心一言完成得還不錯(cuò)。

生成的圖片效果基本達(dá)標(biāo)，并且速度極快，只需十幾秒左右。

此前，有多名互聯(lián)網(wǎng)大廠員工對(duì)《科創(chuàng)板日?qǐng)?bào)》記者表示，已經(jīng)開(kāi)始用ChatGPT自動(dòng)生成業(yè)務(wù)代碼和重構(gòu)代碼。

于是，記者嘗試了一下文心一言能否順利寫代碼。

提問(wèn)：我需要一段冒泡排序java代碼

提問(wèn)：畫橢圓形的JS腳本

記者讓程序員朋友檢查了下，對(duì)方表示：粗略看上去沒(méi)有問(wèn)題，感覺(jué)以后會(huì)對(duì)程序員會(huì)是不錯(cuò)的輔助工具。

李彥宏表示，目前的文心一言版本，已經(jīng)能夠生成文字、圖片和語(yǔ)音?！?strong>生成視頻因?yàn)槌杀颈容^高，還沒(méi)有對(duì)所有用戶開(kāi)放，未來(lái)我們會(huì)逐步接入。但是熟悉百家號(hào)創(chuàng)作的朋友，應(yīng)該都體驗(yàn)過(guò)這個(gè)功能了，每天有幾萬(wàn)篇文章通過(guò)這個(gè)能力轉(zhuǎn)成視頻內(nèi)容在百度分發(fā)?！?/p>

李彥宏指出，多模態(tài)是生成式AI一個(gè)明確的發(fā)展趨勢(shì)。未來(lái)，隨著百度多模態(tài)統(tǒng)一大模型的能力增強(qiáng)，文心一言的多模態(tài)生成能力，也會(huì)不斷提升。

從記者的體驗(yàn)來(lái)看，文心一言已經(jīng)能夠較為流暢、準(zhǔn)確地回答提問(wèn)，但在一些問(wèn)答場(chǎng)景上仍待優(yōu)化。

李彥宏則在發(fā)布會(huì)上表示：整體而言，這類大語(yǔ)言模型還遠(yuǎn)未到發(fā)展完善的階段，它們有時(shí)候會(huì)有很驚艷的表現(xiàn)，但不少場(chǎng)景下，細(xì)究起來(lái)還有明顯的bug，進(jìn)步空間很大。未來(lái)這段時(shí)間它一定會(huì)飛速發(fā)展，日新月異。