被刪除的Sam Altman談話紀要，講了什么？

A+
A-

2023-06-08 05:55:42 網絡快報來源：微信公眾號：極客公園

SamAltman 的歐洲之行仍在進行中。前不久，在倫敦，他和 AI 公司 HumanLooop 的 CEO 進行了一次閉門討論。HumanLoop 是一家幫助開發者在大語言模型上構建應用的公司。

HumanLoop 的 CEO Raza Habib 記錄了這次談話的要點，并公開在公司官網上。但隨后在 OpenAI 的要求下，這份紀要被撤下。這反而增強了外界對這次談話的好奇心。有人推測，是其中所涉及的 OpenAI 的一些想法有所更改。

(資料圖片僅供參考)

極客公園在瀏覽了這份被刪除的談話紀要后，發現其中不僅涉及 Sam 眼中對OpenAI的短期規劃，也隱藏著獲得微軟云計算資源大力支持后，OpenAI 所承擔的壓力。畢竟，模型的微調、推理依舊消耗大量計算資源。據 The Information 報道，Open AI 的模型已經花費了 Microsoft Azure 12 億美元，將計算資源集中于支持 OpenAI，也讓微軟的其他部門可使用的服務器受限。

對此，Sam 表示降低成本是目前的首要目標。

此外，Sam 還透露：目前，開放更長的上下文窗口、提供微調 API 等服務都受到GPU資源的限制；

這場對話中，Sam Altman 回應了許多外界關心的問題，比如競爭與商業化：

盡管剛剛招聘了一位世界級的產品經理 Peter Deng，但OpenAI 不會考慮發布更多的產品；

未來的應用趨勢是大模型的功能嵌入更多APPs，而不是在ChatGPT上生長出更多插件，因為現實中大多數插件并沒有呈現出 PMF（Product / Market Fit，即產品市場匹配）；

過去幾年，OpenAI 以數百萬倍的速度擴展模型規模，但這樣的速度不可持續。接下來，OpenAI 會繼續以 1 到 3 倍的速度，增加模型規模，以提升模型性能。

談話紀要公開于 5 月 29 日，根據網友的記錄，于 6 月 3 日左右刪除。以下是通過備份獲得的內容：

OpenAI目前受到

GPU的嚴重限制

隨著對話擴展，

所需的計算資源呈指數增長

目前 OpenAI 的 GPU 非常有限，這拖延了他們許多短期計劃。客戶*的抱怨是 API 的可靠性和速度。Sam 承認他們的擔憂，并解釋說，大部分問題是由于 GPU 短缺。

The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.

更長的 32K 上下文還不能提供給更多的人。OpenAI 還沒有克服注意力機制的 O (n ^ 2) 的擴展問題，盡管看起來，他們很快 (今年) 就會擁有 100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。

注：O (n^2) 意味著，隨著序列長度的增加，執行 Attention 計算所需的計算資源呈指數增長。O 用來描述算法時間或空間復雜度增長速度的上限或最壞情況；（n^2）表示復雜度與輸入大小的平方成正比。

微調 API 目前也受到 GPU 可用性的限制。他們還沒有使用像 Adapters 或 LoRa 這樣的高效微調方法，因此，通過微調進行運行和管理（模型）非常計算密集。未來將對微調提供更好的支持。他們甚至可能主持一個基于社區的模型貢獻市場。

專用容量供應受 GPU 可用性的限制。OpenAI 提供專用容量，為客戶提供模型的私有副本。要獲得這項服務，客戶必須愿意承諾預先支付 10 萬美元。

OpenAI的近期路線圖

2023，降低智能成本；

2024，多模態的有限演示

Sam 也分享了他所看到的 OpenAI API 臨時近期路線圖。

2023:

更便宜更快的 GPT-4ーー這是他們的首要任務。總體而言，OpenAI 的目標是盡可能地降低「智能成本」，因此他們將努力工作，隨著時間的推移繼續降低 API 的成本。

更長的上下文窗口ーー在不久的將來，上下文窗口可能高達 100 萬個 Token。

微調APIー微調 API 將擴展到最新模型，但具體的形式將取決于開發者表明他們真正想要什么。

一個有狀態的API（stateful API)- 當今天調用聊天 API 時，你必須反復通過相同的會話歷史，反復支付相同的 tokens。將來會有一個版本的 API 可以記住會話歷史記錄。

2024：

多模態- 這作為 GPT-4 版本的一部分進行演示，但在更多 GPU 上線之前不能擴展到所有人。

商業化預判和思考：

插件「沒有 PMF」，

可能不會很快出現在 API 中

很多開發者都對通過 API 訪問 ChatGPT 插件感興趣，但 Sam 說他認為這些插件不會很快發布。除了 Brosing 插件之外，其他插件的使用情況表明還沒有 PMF（Product/Market Fit）。他指出，很多人認為他們希望自己的應用程序位于 ChatGPT 之內，但他們真正想要的是 ChatGPT 存在于應用中。

除了 ChatGPT，

OpenAI 將避免與其客戶競爭

偉大的公司都有

一個殺手級應用

不少開發者表示，他們對使用 OpenAI API 開發感到緊張，因為 OpenAI 最終可能發布對他們有競爭力的產品。Sam 說，OpenAI 不會在 ChatGPT 之外發布更多的產品。他說，歷史上，偉大的平臺公司有一個殺手級應用。ChatGPT 將允許開發者成為自己產品的客戶來改進 API。ChatGPT 的愿景是成為一個超級智能的工作助理，但很多其他的 GPT 用例，OpenAI 不會涉及。

需要監管，

但不是現在

「我對多少個人和公司

有能力持有大模型表示懷疑」

雖然 Sam 呼吁對未來的模型進行監管，但他認為現有模型并不危險，認為監管或禁止它們是一個大錯誤。他再次強調了開源的重要性，并表示 OpenAI 正在考慮將 GPT-3 開源。他們還沒有開源，部分原因是他對有多少個人和公司有能力持有和服務大型語言模型（LLMs）表示懷疑。

規模定律仍然適用

幾年數百萬倍的擴展速度，

不可能一直持續下去

最近有很多文章聲稱「巨型 AI 模型的時代已經過去」。這并不準確。（注：在 4 月一場在 MIT 的活動中，Sam Altman 曾經表示：我們現在已經接近巨大模型時代的尾聲。）

OpenAI 的內部數據表明，模型性能的規模定律仍然適用，增加模型的大小將繼續提高性能。

由于 OpenAI 在短短幾年內就將模型擴大了數百萬倍，這樣的擴展速度不可能持續下去。這并不意味著 OpenAI 不會繼續嘗試把模型做得更大，而是意味著，它們每年的規模可能會增加一倍或三倍，而不是增加許多數量級。

規模定律有效對 AGI 開發時間線有重要意義。規模定律的假設是我們可能已經具備構建 AGI 所需的大部分要素，并且剩下的工作，主要是將現有方法擴展到更大的模型和更大的數據集上。如果規模的時代已經過去，那么我們可能會離 AGI 更遙遠。規模定律繼續適用的事實，強烈暗示著更短的時間線。