建議先去看LATS 比較好理解什麼叫方法論 簡單說R1是一套"如何讓LLM可以做深度思考"的方法論 原本要讓LLM做深度思考 之前的做法一律都是COT 比如把每次LLM的輸入輸出當作一個節點 把多個節點做評分 最終選擇整條鏈評分最高的項目 即MCTS概念 這就像是alphago那樣 每次棋步後面都要估算後面幾十步對於這步的總評分(勝率) LATS就是用LangGraph去實現MCTS的COT 這是方法論 所以可以套用任何LLM 你替換任何LLM LATS都能提升輸出成果 GPT-o1(原q* project)採用人工先寫好大量的推論步驟去保證COT品質 並非直接讓AI去隨意生成許多條節點再自我評分 而是人工先標註什麼是好推論 因此人工撰寫教科書等級的推論就是o1高成本最主要的因素 (這也是CloseAI藏起來的主因 這個很貴不能給其他人看到XD) 就像alphago master需要挖出所有頂尖對局棋譜然後數位化 R1則是捨棄了節點拆步驟思維 直接讓LLM去隨意探索可能方式 在這個情況下R1反而做出了各種有創意的推論方式 就像是alphago zero 自行探索反而下出自己一套邏輯 如同LATS可以替換任何的LLM R1也可以使用任何的LLM去做這件事 實驗室復現R1是指拿一個LLM 做這個方法論 看可以拿到AI怎麼做推論過程 復現的結論也高度一致 使用越優秀的LLM當作基底 可以拿到更好的推論過程 所以任何LLM都可以做R1 就跟任何LLM都可以套LATS類似 -- ※ 發信站: 批踢踢實業坊(www.ptt-club.com.tw), 來自: 36.231.98.6 (臺灣) ※ 文章網址: https://www.ptt-club.com.tw/Tech_Job/M.1738140736.A.CDC

推 tr920 : Openapi 都跳出來質疑有distill 痕 123.194.12.84 01/29 17:02

→ tr920 : 跡了，你回那麼嗆小心被打臉啊 123.194.12.84 01/29 17:02

噓 quartics : 你說的跟本不是什麼新技術，也跟di 42.78.171.125 01/29 17:07

→ quartics : stilled 不衝突 42.78.171.125 01/29 17:07

噓 whizz : 不然這樣啦 deepseek開直播訓練 1.168.110.29 01/29 17:19

推 alexantiy: 求包養...管飽就好XD 1.168.110.29 01/29 17:19

→ whizz : 用2000塊 H800訓練來看看啊 1.168.110.29 01/29 17:19

推 tr920 : 可以用30鎂就復現，那DS花550萬鎂 123.194.12.84 01/29 17:34

→ tr920 : 幹嘛XDD！！ 123.194.12.84 01/29 17:34

推 tr920 : 以你的邏輯，R1是用人家砸大錢訓練 123.194.12.84 01/29 17:39

→ tr920 : 出來的LLM來前進，那些砸大錢的公 123.194.12.84 01/29 17:39

推 sowrey: 阿姨!我不想努力了(求包養) 123.194.12.84 01/29 17:39

→ tr920 : 司在浪費人生？ 123.194.12.84 01/29 17:39

推 tr920 : 一句話啦，你敢保證Deepseek沒有用 123.194.12.84 01/29 17:43

→ tr920 : Distill技術？如果不敢保證，就把 123.194.12.84 01/29 17:43

→ tr920 : 隨便罵人青鳥字眼吞回去 123.194.12.84 01/29 17:43

推 master32 : 我是覺得盡量不要一開始就把人打入 111.253.56.238 01/29 18:14

推 cw758: 有沒有富二代要包養我 111.253.56.238 01/29 18:14

→ master32 : 某一族群,科技板不該這樣 111.253.56.238 01/29 18:14

推 lusifa2007 : 政治立場帶入單純技術討論 碩士用 114.42.230.28 01/29 18:34

→ lusifa2007 : 雞腿換的？ 114.42.230.28 01/29 18:34

推 straggler7 : 純技術討論? 我信你個鬼! 36.229.59.188 01/29 18:55

→ aria0520 : 但我也不是耶XD 單純就事論事103.224.201.110 01/29 19:20

推 ludi: 身邊有朋友被包養嗎103.224.201.110 01/29 19:20

→ aria0520 : 看我以往推文就知道我不是XD103.224.201.110 01/29 19:21

推 ctw01 : 這樣受益良多感謝，另外想詢問因為 180.218.44.106 01/29 19:26

→ ctw01 : deepseek 似乎沒有公開他們這套方 180.218.44.106 01/29 19:26

→ ctw01 : 法論是對哪個LLM模型，現在openai 180.218.44.106 01/29 19:26

→ ctw01 : 質疑distill 是質疑他們使用的LLM 180.218.44.106 01/29 19:26

推 peernut: 亞洲最大包養平台上線了 180.218.44.106 01/29 19:26

→ ctw01 : 對chatgpt distill然後再用這套方 180.218.44.106 01/29 19:26

→ ctw01 : 法論嗎？ 180.218.44.106 01/29 19:26

→ ctw01 : 因為本身不是做NLP相關的，以前也 180.218.44.106 01/29 19:27

→ ctw01 : 沒接觸多少ai研究，如果問了蠢問題 180.218.44.106 01/29 19:27

→ ctw01 : 敬請見諒 180.218.44.106 01/29 19:27

推 xikimi: 這個包養網正妹好多 是真的嗎 180.218.44.106 01/29 19:27

→ BoXeX : 反而覺得distill還好 那些模型 111.250.18.76 01/29 20:19

→ BoXeX : 在訓練時也沒少盜用別人著作權文章 111.250.18.76 01/29 20:20

→ lavign : LATS也是用MCTS，只是評分方式改成 220.134.57.143 01/29 20:32

→ lavign : 用LLM自己的機率函式？ 220.134.57.143 01/29 20:32

推 tanby : 知識蒸餾要有模型 OpenAI沒有公開 111.250.8.222 01/29 22:33

推 Avero: 真的有這麼多人在找包養嗎 111.250.8.222 01/29 22:33

→ tanby : 模型 DS頂多用OpenAI模型去標注數 111.250.8.222 01/29 22:33

→ tanby : 據 111.250.8.222 01/29 22:33

推 janeration : 沒有公開不代表DS拿不到啊 101.9.190.172 01/30 00:33

噓 pig2014 : 反對你的人就說是青鳥是三小，反民 123.195.185.38 01/30 18:01

→ pig2014 : 進黨也不要反到這麼弱智操，很丟返 123.195.185.38 01/30 18:01

推 ejoz: 有人可以分析一下包養平台的差異嗎 123.195.185.38 01/30 18:01

→ pig2014 : 民進黨派的臉 123.195.185.38 01/30 18:01