前兩天，科大訊飛開了場(chǎng)發(fā)布會(huì)。

在這個(gè)時(shí)段開發(fā)布會(huì)的互聯(lián)網(wǎng)公司，大家用腳指頭想，都能想到，發(fā)布的肯定又是一個(gè)大模型了。

一開始我還沒(méi)太在意，結(jié)果今天轉(zhuǎn)頭就看到科大訊飛在發(fā)喜報(bào)了。

他們發(fā)布的“ 星火大模型 ”，領(lǐng)跑國(guó)內(nèi)了?

星火大模型在一個(gè)名為“ Super Clue ”的 AI 評(píng)測(cè)榜單上，一騎絕塵，國(guó)際上僅次于 GPT-4 和 ChatGPT，國(guó)內(nèi)更是豪取第一。

說(shuō)實(shí)話，看到這個(gè)信息的我，一時(shí)間感覺(jué)有點(diǎn)不真實(shí)。

而且我上網(wǎng)溜達(dá)了一大圈，也還沒(méi)搞清楚這個(gè)“ Super Clue ”榜單到底是怎么搞出來(lái)的，背后有沒(méi)有什么大佬或者組織，至于靠不靠譜，我也下不了定義。

國(guó)內(nèi)好幾家大模型，像阿里、360、天工，在這上面也都看不到蹤影。

但科大訊飛竟然敢在自家的公眾號(hào)上，大張旗鼓地把這個(gè)事給發(fā)出來(lái)了。這可就引發(fā)我的好奇心了啊。

于是，我們就搞到了一個(gè)測(cè)試資格，給大家驗(yàn)驗(yàn)貨。

不過(guò)在正式測(cè)試開始前，咱們先摸個(gè)底，看看星火有沒(méi)有基本的學(xué)習(xí)能力。

我教了它一套自創(chuàng)的規(guī)則，正向的句子標(biāo)“ 正 ”，負(fù)向的句子標(biāo)“ 負(fù) ”。

結(jié)果，星火很快地就掌握了這套規(guī)則，既能給新句子打標(biāo)記，也能按我們的要求進(jìn)行相關(guān)創(chuàng)作。

看來(lái)星火這小子，基本的底子還行，可以做正式的測(cè)試了。下面，我將從邏輯、數(shù)學(xué)、代碼和文本四個(gè)方面，對(duì)星火進(jìn)行考察。

按照國(guó)際慣例，第一道測(cè)試題肯定得是——弱智吧精選 100 問(wèn)。

我先上了一道經(jīng)典測(cè)試：張三差點(diǎn)沒(méi)上上上上海的車，什么意思?

星火的回答過(guò)于完美了，精準(zhǔn)解讀了幾個(gè)“ 上 ”的意思。我拉了幾個(gè)人一起看，都沒(méi)看出毛病來(lái)。

不信邪的我，又給了個(gè)經(jīng)典難題：

提問(wèn)：小明問(wèn)小紅：今天小白來(lái)上班了嘛?小紅回答：說(shuō)曹操曹操就到。請(qǐng)問(wèn)，誰(shuí)到了。

結(jié)果，星火的回答依舊滴水不漏，從語(yǔ)意理解和文字表述上，堪比真人水平了。

我接著試了好幾道經(jīng)典題目，發(fā)現(xiàn)星火應(yīng)對(duì)的都完美得像標(biāo)準(zhǔn)答案一樣。

不服輸?shù)奈?，去弱智吧找了點(diǎn)新貨，上了之前 AI 測(cè)試?yán)餂](méi)見過(guò)的生面孔。

提問(wèn)：失主怎么一直給我的新手機(jī)打電話?

這回星火的答案明顯不如前面幾個(gè)回答簡(jiǎn)潔了，來(lái)了一堆車轱轆話。

接著提問(wèn)：為什么西游記不請(qǐng)?zhí)粕救藖?lái)演呢，他不是長(zhǎng)生不老嗎?

星火還是非常機(jī)械地來(lái)了一段名詞解釋 + 不懂裝懂。

這么看來(lái)，我怎么感覺(jué)星火在新問(wèn)題上，就表現(xiàn)得像個(gè)正常的大語(yǔ)言模型的水平了，似乎有專門訓(xùn)練過(guò)一些題目。

不過(guò)，拋開疑似訓(xùn)練過(guò)的問(wèn)題，單從結(jié)果上看，第一項(xiàng)的弱智吧邏輯題，星火表現(xiàn)還算可以，能給到三星。

咱們測(cè)試?yán)^續(xù)。接下來(lái)，我準(zhǔn)備試一下大模型的另一類難題——數(shù)學(xué)測(cè)驗(yàn)。

上來(lái)我還是先問(wèn)了些測(cè)試題?？?，連著問(wèn)了三道，星火依舊表現(xiàn)出色，全部答對(duì)。

尤其是經(jīng)典的雞兔同籠問(wèn)題，不管怎么變參數(shù)和問(wèn)法，星火都能答對(duì)。

但是，測(cè)試到后面，我又發(fā)現(xiàn)了問(wèn)題。

一些經(jīng)典的測(cè)試題，當(dāng)我替換掉參數(shù)之后，比如把青蛙跳井問(wèn)題的 10 米，替換成了 100 米。

星火給我的答案，卻依舊還是 10 米的計(jì)算過(guò)程。

實(shí)際上，星火并不是解不來(lái)題目。當(dāng)我反問(wèn)它：青蛙掉進(jìn)的是 100 米的井，它能立刻給我 100 米的正確計(jì)算過(guò)程。。

為什么用問(wèn)題模板問(wèn)的時(shí)候，它似乎沒(méi)有轉(zhuǎn)過(guò)彎來(lái)呢?

除開這一點(diǎn)，星火在計(jì)算方面的表現(xiàn)，確實(shí)讓人比較驚艷的。第二項(xiàng)測(cè)驗(yàn)，我覺(jué)得可以給一個(gè)四星半的高分。

前面試了兩個(gè)大模型的弱項(xiàng)，為了不欺負(fù)人，咱們來(lái)點(diǎn)大語(yǔ)言模型擅長(zhǎng)的文本內(nèi)容。

而且，我特地找了一道有中文特色的文本題，把四大名著糅合了一下。

提問(wèn)：假如孫悟空生活在紅樓夢(mèng)大觀園里，會(huì)發(fā)生什么故事?

一開始，星火給了我五個(gè)方向，單從這 5 個(gè)方向來(lái)說(shuō)，雖然沒(méi)啥事實(shí)錯(cuò)誤，但有些不太符合人設(shè)。

比如第三個(gè)方向，說(shuō)孫悟空要保護(hù)賈母不受欺負(fù)，這就不符合賈母的設(shè)定了。

后面，我要求星火擴(kuò)寫一下方向，它的表現(xiàn)也比較中規(guī)中矩。

讓星火挑選了第 5 個(gè)方向擴(kuò)寫，雖然生成結(jié)果符合題目的要求，但是通篇順下來(lái)，文字比較干澀，情節(jié)更是口水和模板化，有點(diǎn)小學(xué)生寫作文的感覺(jué)。。

文本方面的表現(xiàn)，說(shuō)實(shí)話最多只能給到兩星，拿個(gè)保底分。

三項(xiàng)測(cè)驗(yàn)下來(lái)，成績(jī)都還算不錯(cuò)，看看這場(chǎng)試驗(yàn)的最后一題——代碼能力，星火能不能繼續(xù)穩(wěn)住。

但是，有些遺憾的是，即便是最簡(jiǎn)單代碼，星火居然沒(méi)法寫出來(lái)。

我要求做一個(gè)頁(yè)面，頁(yè)面中間有一個(gè)按鈕。當(dāng)在鼠標(biāo)移動(dòng)到按鈕上面時(shí)，按鈕會(huì)放大一倍。

但是，星火做出來(lái)的按鈕，別說(shuō)放大一倍，甚至連放大效果都沒(méi)有。

它只是暴力地把長(zhǎng)度和寬度，設(shè)置為了 50 像素。

跟前面幾項(xiàng)測(cè)試比起來(lái)，代碼能力屬實(shí)是拉了。

但總的來(lái)說(shuō)，四輪測(cè)試下來(lái)，除了代碼水平實(shí)在有點(diǎn)垃圾，其他三項(xiàng)，都能夠拿到 2 星及以上的成績(jī)。特別是做數(shù)學(xué)題，給我一種過(guò)于強(qiáng)大，可以和 GPT-4 掰掰手腕的感覺(jué)。

如果星火早幾個(gè)月發(fā)布，肯定能夠驚艷到我們。

但大模型的進(jìn)化速度一向不能以常理來(lái)考慮，所以越晚發(fā)布，大家對(duì)大模型的期待也就越高。

后來(lái)者不真拿兩把刷子出來(lái)，沒(méi)點(diǎn)革命性的變化，很難掀起大水花了。

而且，這條路后發(fā)者們能不能趕上趟還真不好說(shuō)。

就像李彥宏說(shuō)過(guò)觀點(diǎn)：不要重復(fù)造輪子，AI 的十倍機(jī)會(huì)指不定在哪兒呢。