ChatGPT每日成本超70万美元;微软秘密研发AI芯片试图降低成本

半导体研究公司 SemiAnalysis 的首席分析师迪伦·帕特尔 (Dylan Patel)表示,使用 ChatGPT写求职信、生成课程计划和重做约会资料可能会使 OpenAI 每天花费高达 70万美元,人工智能运行的技术基础设施价格昂贵。

这是因为 ChatGPT 需要大量的计算能力来计算基于用户提示的响应。

“大部分成本是基于他们所需的昂贵服务器”。Patel 表示现在运营成本可能更高,因为他的初步估计是基于 OpenAI 的 GPT-3 模型。该公司的最新AI模型GPT-4运行成本会更高。

虽然训练 ChatGPT 的大型语言模型可能要花费数千万美元、运营费用或推理成本,但“在以任何合理规模部署模型时,远远超过训练成本,”SemiAnalysis 的另一位分析师 Patel 和 Afzal Ahmad表示。“事实上,每周推理 ChatGPT 的成本超过了训练成本。” 

多年来,使用 OpenAI 语言模型的公司一直在付出高昂的代价。Latitude 是一家使用提示生成故事情节的 AI 地牢游戏背后的初创公司,其首席执行官尼克沃尔顿表示,运行该模型以及向 Amazon Web Services 服务器付款,该公司每月花费 20万美元来让 AI 回应百万数据。

高成本是沃尔顿表示他决定转向由 AI21 Labs 支持的语言软件提供商的原因,他说这将他公司的人工智能成本削减了一半,达到每月 10 万美元。

沃尔顿表示:“我们开玩笑说我们有人类员工,也有人工智能员工,我们在他们每个人身上花费的钱差不多。” “我们每个月在 AI 上花费数十万美元,而且我们不是一家大型初创公司,所以这是一笔非常巨大的成本。”

据报道,微软正在秘密开发AI芯片

据 The Information 报道,为了降低运行生成式 AI 模型的成本,微软正在开发一种名为 Athena 的 AI 芯片。该项目于 2019 年启动,数年后微软与 OpenAI 达成了 10 亿美元的交易,该交易要求 OpenAI 仅在微软的 Azure 云服务器上运行其模型。

根据报道,微软AI芯片背后的想法有两个方面。一位知情人士称,微软高管意识到他们在构建自己的内部芯片方面落后于谷歌和亚马逊。与此同时,微软正在寻找更便宜的替代品——其人工智能模型在英伟达的图形处理单元芯片上运行,并决定制造一种成本更低的芯片。

据报道现在有 300 多名微软员工正在开发该芯片。两位知情人士称该芯片最早可能在明年发布,供微软和 OpenAI 内部使用。

其他阅读