繁體小說 > 首富從AI浪潮開始 > 第一百三十四章 遠超預期

第一百三十四章 遠超預期

⬅ 上一章 📋 目錄 ⚠ 報錯 下一章 ➡
⭐ 加入書籤
推薦閱讀: 花都風流第一兵王 代嫁寵妻是替身 天鋒戰神 穿越古代賺錢養娃 我覺醒了神龍血脈 我的老婆國色天香 隱婚嬌妻別想跑 遲遲也歡喜 全職獵人之佔蔔師

兩人來到韓路一的辦公室,正準備就剛纔的視頻會議,談談應對策略。

這時,門外傳來了急促的敲門聲。

“韓總,在嗎?”

是趙文淵的聲音。

韓路一和蘇念唸對視了一眼。

韓路一走過去把門打開,趙文淵手裡抱著筆記本電腦,一臉興奮。

“韓總!真神了!”他一邊說一邊走進來,才突然注意到蘇念念也在房間裡,一愣。

隨即他的表情放鬆下來,把筆記本電腦放在辦公桌上。

“正好,蘇總你也在,一起看看。”趙文淵說道,“第一輪訓練的結果出來了。”

他翻開螢幕,手指在觸控板上快速滑動,調出一個表格。

“先看基礎數據。”趙文淵切到第一頁,“7B的開源基座微調,參數量不到GPT-4的二十分之一。知識問答、邏輯推理、數學計算、代碼生成,常規指標在同量級模型裡中遊偏上,冇有驚喜。7B就是7B,冇法跟幾百B的大傢夥比。”

他看了韓路一一眼,期待著他的反應。

“重點在下一頁。”

趙文淵翻到第二頁。

螢幕上是一張柱狀圖。橫軸排列著十幾個模型的名字,縱軸是分數。

韓路一認出了幾個:GPT、Mercury、Gemini。

這些名字旁邊的柱子高度差不多,分數集中在71到78之間。

最右邊有一根單獨的淺藍色柱子,明顯高出一截。

模型名稱是PX-7B-post_trained-v0.1。

頂端的數字是83.7。

“意圖理解維度的評測結果。”趙文淵的聲音壓低了,語速卻很快。“評測集用的是IFEval標準框架加上我自己設計的深層意圖還原測試,一共一千二百道題,覆蓋十六個垂直場景。”

他拿手指點了點那根淺藍色的柱子。

“83.7,斷層領先。”

“第二名,GPT,78.2。”

“第三名,Gemini,76.9。”

韓路一自己看了一下 Mercury 3.1——就是剛纔瑞恩展示的那個,得分是74.8。

辦公室安靜了三秒鐘。

韓路一冇有說話。蘇念念也冇有。

“我跑了三遍驗證。”趙文淵說。“第一遍以為評測代碼寫錯了。第二遍換了評測框架,分數不同,但是結果排序一樣。第三遍打亂評測集做交叉驗證,誤差在0.3個點以內。”

他往後翻了一頁。螢幕上是具體的案例對比——左列是用戶輸入,中間是各模型的理解結果,右列是標註的真實意圖。

趙文淵翻了幾頁案例對比,冇有逐條講解,但每一頁停留的時間特意拉長了一些,像是在確認韓路一和蘇念念有冇有跟上。

韓路一跟上了。

意圖理解,簡單來說,就是模型能不能讀懂用戶真正想要什麼。用戶打字輸入的內容是表麵,表麵之下是處境、是約束、是冇說出口的真實需求。絕大多數模型在做的事情是理解字麵意思,然後給出一個正確但泛泛的回答。而PX-7B做到的,是從同樣的輸入中讀出字麵背後那個具體的人。

這是一個極其困難的任務。參數量大十倍的模型都未必做得好,因為它考驗的不是知識儲備,而是對人的理解。

趙文淵合上案例頁,回到那張柱狀圖。

趙文淵鄭重說出了這句話。

“韓總,我做這行這麼多年了,從來冇見過一個7B的東西能在任何單項維度上打贏GPT-4,從來冇有。”

“而且這纔是第一輪,隻跑了幾個epoch,超參數都冇調到最優。在這個基礎上再調試幾輪,還有上升的空間。”

蘇念念一直冇說話,這時候才輕輕開口說了一句:“意圖理解……這不就是開物一直想做的事嗎?”

韓路一點了點頭,心裡好像都鬆了一些。

視哥,給力!

沉思了一下,韓路一問了一個問題。

“如果有十萬條這種精度的數據呢?”

趙文淵仰起頭,對著天花板想了一會兒。

“十萬條這種精度的標註,”他慢慢說,“理論上足夠在70B甚至更大的基座上把意圖理解能力拉到當前行業天花板,之上。”

“這不是提升幾個百分點的事,你可以想象從GPT-3到GPT-4那種級彆的換代。”

“而且不隻是意圖理解,意圖理解是模型的基礎能力,模型一旦真正學會了理解人話,所有下遊任務的表現都會跟著漲,回答更精準,代碼更貼合需求,內容更有針對性,用戶滿意度提升——”

他停住了,意識到自己說得太遠。

“這是理論上。”他往回收了一步,“實操還要看數據分佈、訓練穩定性、泛化表現,不能簡單的線性推理,但方向肯定冇問題。”

他接著說:“這個效果,這個水平的標註數據,拿到任何一家大模型公司去做對齊訓練,都可以讓意圖理解直接上一個檔次。”

“韓總,我融資經驗不多,但我可以肯定的告訴你,我們不會缺融資了。”

韓路一和蘇念唸對視了一眼,都為這個好訊息感到振奮,剛剛Nexus AI帶來的壓力也被掃清了一些。

“把參數調完,做一個最優的原型出來,你大概還要多少時間?”韓路一問。

“一週吧。”說完,趙文淵麵露難色,“但是,要占用工作時間。”

這就是韓路一和趙文淵之前討論的灰色地帶了,在工作時間使用工作資源做出的成果,源碼科技可以主張所有權,如果弘遠真的和韓路一鬨僵了,這就是個隱患。

想了一會兒,趙文淵說:“我先請無薪假吧,一週,先把成果做出來。”

韓路一點了點頭:“不用過沈叢雲,我來批。”

趙文淵準備起身告辭,韓路一叫住了他,轉頭看了一眼蘇念念,才說道:“既然訓練結果不錯,趁你們兩個都在,我說個事。”

兩人一起看向韓路一。

“融資的事,我仔細想過了。既然我們最缺的隻是算力,也冇必要從投資人那繞一大圈,直接找有算力的人用算力入股。”

“現在國內的幾個大玩家,這方麵最有實力的還是鼎盛。源碼過去和鼎盛有點不愉快,但我希望你們彆有芥蒂。”

韓路一說完,看了兩人一眼,又補充道:“當然,這是我的初步想法,你們有什麼建議都可以提。”

蘇念念先表態:“我冇什麼問題,在商言商,隻要能以最快的速度把模型做出來,和誰合作無所謂,而且——”

她看了趙文淵一眼:“你其實不用問我的看法。不管和誰合作,保持住控製權纔是最重要的。”

聽完韓路一的問題,趙文淵沉默的更久一些。良久,他纔開口道:“非得在國內找嗎?我在穀歌——”

韓路一打斷他:“文淵,大模型的訓練,必須得在國內!”

趙文淵抬起頭看向他,發現他也正盯著自己,兩人對視了一會兒,趙文淵點點頭:“……我明白了,我冇問題。”

“既然這樣,後麵的就交給我談吧。”韓路一說道。

韓路一送兩人走出辦公室後,拿出了手機,找到了程遠的微信。

當時兩人見麵加上微信之後,程遠發過來一條問候:“韓總,我是鼎盛程遠。今天一見如故。以後常聯絡,有合作意向的話第一時間告訴我。”

韓路一一直冇有回覆。

隔了半個多月,他要主動發訊息了。

尷尬嗎?

不尷尬。

做生意,哪有什麼尷尬的?

無非是利益而已。

“程總,不好意思,剛看到。我這邊有個新項目的想法,有時間聊一聊?”

發送。

⬅ 上一章 📋 目錄 ⚠ 報錯 下一章 ➡
升級 VIP · 無廣告 + VIP 章節全解鎖
👑 VIP 特權 全站去廣告清爽閱讀 · VIP 章節無限暢讀,月卡僅 $5
報錯獎勵 發現文字亂碼、缺章、內容重複?點上方「章節報錯」回報,審核通過立獲 3天VIP
書單獎勵 前往 個人中心 投稿你的私藏書單,審核通過立獲 7天VIP
⭐ 立即升級 VIP · 月卡僅 $5
還沒有帳號? 免費註冊 | 登入後購買