這可能是讓一眾數(shù)據(jù)分析師們頭大的消息。
【資料圖】
日前,有網(wǎng)友分享,稱阿里達(dá)摩院最近貼出來一個研究報告,關(guān)于用 GPT4取代數(shù)據(jù)分析師的成本核算。
他直接把報告里的結(jié)論列了出來:
「除了所有數(shù)據(jù)分析師和GPT-4之間的可比績效外,我們可以注意到GPT-4所花費的時間要比人類數(shù)據(jù)分析師短得多。我們假設(shè)每個月有大約21個工作日,每天工作8小時左右,并根據(jù)每個級別的數(shù)據(jù)分析師所花費的平均時間計算出每個實例在美元方面的成本。GPT4的成本約為初級數(shù)據(jù)分析員成本的0.71%和高級數(shù)據(jù)分析員成本的0.45%。」
有網(wǎng)友評論:還以為是71%和45%,仔細(xì)一看,是0.71%和0.45%!
還有人把這一結(jié)論概括為:成本爆破。
不過,也有網(wǎng)友對這一研究結(jié)果提出質(zhì)疑:
看了一下論文原文,標(biāo)題黨的成分過高。論文中舉例,給高級數(shù)據(jù)分析師(9萬美元/年薪)的測試題目是:“列出球員的位置和每個位置的球員平均得分。按條形圖可視化,按升序總數(shù)排序?"。這用得著高級分析師?但確實成本上有很大優(yōu)勢。
其實,此前也有類似的研究,不過當(dāng)時還是基于GPT-3.5,蘇黎世大學(xué)的研究人員研究其在復(fù)雜標(biāo)注任務(wù)上表現(xiàn),當(dāng)時的研究人員表示,機器學(xué)習(xí)模型在內(nèi)容處理和數(shù)據(jù)清洗方面的表現(xiàn)以及成本效益,已經(jīng)超過了眾包平臺上的人類雇員。
論文提到,“我們發(fā)現(xiàn)在五分之四的任務(wù)中,ChatGPT 的零樣本準(zhǔn)確率都高于 MTurk(備注:MTurk 相當(dāng)于勞務(wù)眾包平臺,申請人可以加入工作隊列、等待任務(wù)分配。)。此外,ChatGPT 的成本也遠(yuǎn)低于 MTurk:ChatGPT 處理這五個分類任務(wù)(共25264條標(biāo)注)的總成本約為68美元,而 MTurk(共12632條標(biāo)注)的成本約為657美元?!毖芯咳藛T表示,按標(biāo)注數(shù)量計算,ChatGPT 的單位成本約為0.003美元,只相當(dāng)于 MTurk 的二十分之一,而且準(zhǔn)確率還更高。
當(dāng)然,所謂的更準(zhǔn)確仍然不夠準(zhǔn)確。蘇黎世大學(xué)政治學(xué)系政策分析教授、論文聯(lián)合作者之一 Fabrizio Gilardi 在采訪郵件中指出,ChatGPT 在某些任務(wù)中的準(zhǔn)確率還不到50%,但仍然優(yōu)于 MTurk 眾包雇員。
也許短時間內(nèi),上述行業(yè)在技術(shù)迭代的背景下暫時還是安全的,但誰會知道,也許某個顛覆性的時刻,已經(jīng)在不經(jīng)意間加快了步伐呢?
附上研究報告的PDF版:https://arxiv.org/pdf/2305.15038.pdf?
延伸閱讀:
關(guān)鍵詞: