OpenAI 怎麼量研究工作?從智慧體獨立完成率到人的工作週

From EasyVibeCoding Podcast · 00:03:27

Show by EasyVibeCoding

OpenAI 怎麼量研究工作?從智慧體獨立完成率到人的工作週在 OpenAI 研究團隊交給程式設計智慧體的任務裡,監看模型訓練是否出問題,無人介入下的估計成功率是 79%。啟動訓練是 35%,撰寫讓模型產生並提供回應的程式碼是 25%。OpenAI 在 2026 年 11 月 18 日發布的研究加速報告中,也用專案紀錄估算研究人員把時間投在哪些領域。 來源 1按估計人工工時分組,獨立完成率怎麼變?OpenAI 先按估計需要多少人工工時,把交給智慧體的任務分組,再估算各組中有多少任務能在無人介入下完成。2026 年 3 月到 10 月,估計要人做 2 到 4 小時的任務,成功率從 23% 升到 46%。估計要人做 4 到 8 小時的任務,則從 13% 升到 35%。 來源 1即使同樣是估計要做 2 到 4 小時的工作,研究人員在 3 月和 10 月也可能挑了不同任務交給智慧體。成功率的變化可能同時反映模型能力進步,以及研究人員改變了委派方式。這些比例的範圍是 OpenAI 內部已委派的任務。 來源 1一天用掉好幾個智慧體工作日,怎麼算的?OpenAI 把智慧體每累計運作 8 小時算成 1 個工作日。同一位研究人員可以同時開好幾個智慧體,所以一天累計下來可以超過 1 個工作日。報告記錄到每位研究人員每日平均用量從 0.5 個升到 5.7 個智慧體工作日。這個指標主要涵蓋研究人員直接操作的使用情形,可能低估自動化流程的用量。 來源 1兩個智慧體同時各跑 4 小時,累計運作 8 小時,8 小時算 1 個智慧體工作日安全與對齊的工作週怎麼估?OpenAI 從公司內公開的 Slack 貼文、程式碼變更請求和內部文件找出研究人員的貢獻,再用分類工具把貢獻歸到各研究領域。計算時,每位研究人員的一個工作週,會平均分給當週經確認的專案。假設某人當週有兩個這樣的專案,即使實際投入時間有多有少,兩個專案各記半個工作週。 來源 1按這套算法,安全與對齊領域從 1 月到 9 月的估計工作週增加 77%,增加的工作週數是各主要研究領域中最多的。這類工作包括測試模型是否符合預期、研究如何監測模型行為。OpenAI 將增幅歸因於招募新人,以及原有研究人員把更多注意力轉向這些專案。 來源 1研究人員在哪一步介入?一位在後訓練團隊做模型評估的研究人員說,請智慧體照另一項任務的做法直接做,往往得再動手修改。後來這位研究人員改成先請智慧體做一個,自己檢查並修改,再讓智慧體照修過的做法完成剩下的工作。 來源 1AI 情境示意,智慧體先做一個範例,研究人員檢查並修改原文:https://easyvibecoding.app/curated/3849-openai-research-acceleration-agent-human-measurement

More episodes of EasyVibeCoding Podcast

More episodes

PodSearch is a free, independent podcast search engine. Read about PodSearch, the privacy policy or contact us.