OpenAI 怎麼量研究工作?從智慧體獨立完成率到人的工作週
From EasyVibeCoding Podcast · 00:03:27
Show by EasyVibeCoding
OpenAI 怎麼量研究工作?從智慧體獨立完成率到人的工作週在 OpenAI 研究團隊交給程式設計智慧體的任務裡,監看模型訓練是否出問題,無人介入下的估計成功率是 79%。啟動訓練是 35%,撰寫讓模型產生並提供回應的程式碼是 25%。OpenAI 在 2026 年 11 月 18 日發布的研究加速報告中,也用專案紀錄估算研究人員把時間投在哪些領域。 來源 1按估計人工工時分組,獨立完成率怎麼變?OpenAI 先按估計需要多少人工工時,把交給智慧體的任務分組,再估算各組中有多少任務能在無人介入下完成。2026 年 3 月到 10 月,估計要人做 2 到 4 小時的任務,成功率從 23% 升到 46%。估計要人做 4 到 8 小時的任務,則從 13% 升到 35%。 來源 1即使同樣是估計要做 2 到 4 小時的工作,研究人員在 3 月和 10 月也可能挑了不同任務交給智慧體。成功率的變化可能同時反映模型能力進步,以及研究人員改變了委派方式。這些比例的範圍是 OpenAI 內部已委派的任務。 來源 1一天用掉好幾個智慧體工作日,怎麼算的?OpenAI 把智慧體每累計運作 8 小時算成 1 個工作日。同一位研究人員可以同時開好幾個智慧體,所以一天累計下來可以超過 1 個工作日。報告記錄到每位研究人員每日平均用量從 0.5 個升到 5.7 個智慧體工作日。這個指標主要涵蓋研究人員直接操作的使用情形,可能低估自動化流程的用量。 來源 1兩個智慧體同時各跑 4 小時,累計運作 8 小時,8 小時算 1 個智慧體工作日安全與對齊的工作週怎麼估?OpenAI 從公司內公開的 Slack 貼文、程式碼變更請求和內部文件找出研究人員的貢獻,再用分類工具把貢獻歸到各研究領域。計算時,每位研究人員的一個工作週,會平均分給當週經確認的專案。假設某人當週有兩個這樣的專案,即使實際投入時間有多有少,兩個專案各記半個工作週。 來源 1按這套算法,安全與對齊領域從 1 月到 9 月的估計工作週增加 77%,增加的工作週數是各主要研究領域中最多的。這類工作包括測試模型是否符合預期、研究如何監測模型行為。OpenAI 將增幅歸因於招募新人,以及原有研究人員把更多注意力轉向這些專案。 來源 1研究人員在哪一步介入?一位在後訓練團隊做模型評估的研究人員說,請智慧體照另一項任務的做法直接做,往往得再動手修改。後來這位研究人員改成先請智慧體做一個,自己檢查並修改,再讓智慧體照修過的做法完成剩下的工作。 來源 1AI 情境示意,智慧體先做一個範例,研究人員檢查並修改原文:https://easyvibecoding.app/curated/3849-openai-research-acceleration-agent-human-measurement
More episodes of EasyVibeCoding Podcast
More episodes
- Suno 免費方案可連 MCP,哪些操作會扣點或需要付費?
- 微軟找出 22 道程式評測題有瑕疵,怎麼查出失敗原因?
- Inkling 2 Mini 怎麼在本機跑?Mac 的 32GB 門檻、實測速度與 DGX Spark 能耗
- Codex Ultrafast 讓 GPT-6.2 的 token 生成速度最快達 4.5 倍,計時器案例整輪省 1 秒
- 黎曼猜想驗證續報:兩條約數和不等式通過題意比對,合併證明獲兩套獨立核心接受
- OpenAI 怎麼防堵對抗性蒸餾?Astra 的 54.0% 和 0.2% 測的是什麼?
- Alpöge 與 Claude 聲稱證明黎曼猜想,Lean 已驗到哪一步?
- CarPlay 裡打給自己的 Dot,和一般 ChatGPT 語音有什麼差別?
- Codex 更新對話介面,冷開 App 載入「最高快 60–70%」怎麼看?
- Claude iOS、Android 換新版分頁列,長按就能找近期專案
PodSearch is a free, independent podcast search engine. Read about PodSearch, the privacy policy or contact us.