看板Tech_Job
作者sxy67230 (charlesgg)
標題Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSee
時間2025-01-29 15:33:28
呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更 長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用 deepseek的模型架構。 一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用 了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗 試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再 加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去 也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要 去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還 是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。 我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模 驗證也證明可行，那就可以scaling model跟data size就好了。 -- ※ 發信站: 批踢踢實業坊(www.ptt-club.com.tw), 來自: 59.115.66.147 (臺灣) ※ 文章網址: https://www.ptt-club.com.tw/Tech_Job/M.1738136010.A.EA4
推 aria0520 : 那些實驗不是復刻 只是在distill103.224.201.110 01/29 15:45
→ aria0520 : 真的要"復刻" 指的是在完全從零開始103.224.201.110 01/29 15:45
噓 boards : 滿滿支語101.10.44.11 01/29 15:45
→ aria0520 : 的條件下 跟DS宣稱的成本相同下103.224.201.110 01/29 15:45
→ aria0520 : 復現出R1的結果103.224.201.110 01/29 15:45
推 peernut: 我哥上包養網被我抓包..103.224.201.110 01/29 15:45
→ aria0520 : 但首先DS沒公開他的訓練資料集103.224.201.110 01/29 15:46
→ aria0520 : 所以只能說小lab可以用他公布的模型103.224.201.110 01/29 15:47
→ aria0520 : 做distill 配合他的方法做出不錯的103.224.201.110 01/29 15:47
→ aria0520 : 模型而已103.224.201.110 01/29 15:48
→ aria0520 : 但如果只是這樣 4o實際上也是OAI103.224.201.110 01/29 15:49
推 xikimi: 有人包養過洋鬼子嗎103.224.201.110 01/29 15:49
→ aria0520 : distill出來的 真正關鍵還是在103.224.201.110 01/29 15:49
→ aria0520 : 如何做出用來給其他模型distill的103.224.201.110 01/29 15:49
→ aria0520 : 源模型 如果這個能用DS宣稱的算力103.224.201.110 01/29 15:50
→ aria0520 : 條件做出 那就貢獻很大 也是最值得103.224.201.110 01/29 15:50
→ aria0520 : "復刻"的部分103.224.201.110 01/29 15:50
推 Avero: 有錢人為啥都想包養103.224.201.110 01/29 15:50
推 vbotan : 3樓只會這招嗎 223.23.72.10 01/29 15:51
→ aria0520 : 主要是訓練集沒公開就還是有點懸念103.224.201.110 01/29 16:14
→ aria0520 : 畢竟連OAI之前o3那次math benchmark103.224.201.110 01/29 16:14
→ aria0520 : cheat風波導致benchmark的可信度103.224.201.110 01/29 16:15
→ aria0520 : 變低許多 連OAI都會搞出這齣 一個103.224.201.110 01/29 16:15
推 ejoz: 有人被洋鬼子包養過嗎103.224.201.110 01/29 16:15
→ aria0520 : 急需注資和關注度new fund更有可能103.224.201.110 01/29 16:15
→ aria0520 : 有貢獻是一定的 新方法在distill上103.224.201.110 01/29 16:16
→ aria0520 : 有機會成為新baseline103.224.201.110 01/29 16:17
推 knightwww : 幫補血 1.169.97.52 01/29 16:49
推 PhilHughes65: 貼文的人寫了這麼多技術用語，結果 103.135.144.19 01/29 17:04
推 FishRoom: 到底要多有錢才會想包養 103.135.144.19 01/29 17:04
→ PhilHughes65: 某些人只會噓支語 103.135.144.19 01/29 17:04
推 hensel : 回文用中文的我都噓支語 111.249.68.207 01/29 17:58
推 ctw01 : 感謝，讀了真的收益良多 180.218.44.106 01/29 18:29
推 lusifa2007 : 傳聞它是蒸餾chat gpt 的基礎這是 114.42.230.28 01/29 18:30
→ lusifa2007 : 真的假的 114.42.230.28 01/29 18:30
推 KsiR: 閨蜜上包養網還推薦我... 114.42.230.28 01/29 18:30
→ ctw01 : 這種事情應該很難知道了 但目前看223.137.91.171 01/29 19:52
→ ctw01 : 起來他真的有提出一套有用的方法我223.137.91.171 01/29 19:52
→ ctw01 : 覺得這是比較重要的223.137.91.171 01/29 19:53
推 tanby : 蒸餾要有模型 ChatGPT沒有公開 111.250.8.222 01/29 22:27
推 AiriMania : 根本不用催眠其實 造假方法多的是 49.216.49.60 01/31 08:03
推 peoples: 包養? 49.216.49.60 01/31 08:03