全讯娱乐网娱乐网通过模子优化和稀奇清洁动力的使用-全讯娱乐网(中国大陆)官方网站-登录入口

大模子耗电惊东说念主，公论一浪高过一浪。

当今，谷歌用硬核数据强势还击。

一次 Gemini 查询仅能耗 0.24wh，特地于微波炉运行 1 秒，排放 0.03 g CO ₂ e，以致比东说念主放一次屁还少，同期阔绰约 5 滴水。

（文中数据均示意中位数）

谷歌首席科学家 Jeff Dean 公开示意：

这个数值昭彰低于公众渊博预期的水平。

况兼像谷歌这样的大模子厂商，一直专注接头怎样缩小 AI 阔绰。

一年间，通过模子优化和稀奇清洁动力的使用，Gemini 的能耗降至底本的 1/33，碳排放降至 1/44，同期提供了更高质地的响应。

底下让咱们一齐望望谷歌是怎样计算和减少 AI 动力阔绰的？

怎样计算 AI 阔绰动力

谷歌最初指出，目下好多对于 AI 动力阔绰的贪图反应的王人是表面效果，而非大规模运行下的本体效果。

若 Gemini 只筹商 TPU 和 GPU 的阔绰，一次查询只需阔绰 0.10wh，排放 0.02 g CO ₂ e，耗水量约 0.12ml。

但这种贪图方法仅筹商了机器在运行中的能耗，而忽略了一些关节要素。

与此同期，Jeff Dean 也示意：

东说念主们王人在想考 AI 是否会阔绰大王人动力？它是否明白过碳排放来伤害地球？

是以，谷歌针对 AI 就业时的本体情况，招引了一套更为全面的门径来贪图动力阔绰，包括以下几个部分：

全系统动态功率

这不仅包括主 AI 模子在贪图经过中使用的动力和水，还筹商了大规模运行下本体的芯片诳骗率，而该诳骗率频频远低于表面最大值。

优游贪图机

为确保高可用性和可靠性，坐褥系统需要一定进度的预置容量，该容量处于优游状况，但随时不错解决流量岑岭或故障滚动。这些闲置芯片阔绰的能量必须计入总动力萍踪。

CPU 和内存

AI 模子的运行不仅依赖 TPU 和 GPU 等机器学习加快器，主机的 CPU 和内存相似在提供就业和阔绰动力方面起着关节作用。

数据中心支出

运行 AI 的信息技能提拔所阔绰的动力仅占全体能耗的一部分。支合手这些贪图的基础要领，如冷却系统、配电系统以过甚他数据中心支出相似会阔绰动力。这部分支出动力常常用电力使用效果（PUE）计算来计算。

数据中心用水量

为了降板滞耗及有计划排放，数据中心常常会使用水进行冷却。跟着优化 AI 系统以提高动力效果，其全体用水量也会随之当然减少。

通过上述更全面的计算，谷歌得出一次 Gemini 查询的能耗为 0.24wh，排放 0.03 g CO ₂ e，同期耗水量约 5 滴。

如斯低的能耗，谷歌究竟是怎样达成的？

为什么 Gemini 阔绰这样低

谷歌示意，Gemin 权臣的效果培育成绩于其在 AI 招引中采纳的全栈门径，从定制硬件、高效模子，到支合手这些模子运行的庞杂就业系统，他们在每一层王人融入了效果优化。

最初是更高效的模子架构，Gemini 是谷歌接头东说念主员招引的 Transformer 模子框架，比较之前的说话建模架构，其效果可培育10 倍到 100 倍。

此外，他们还在模子遐想中融入了像 MoE 和羼杂推理等机制，从而进一步减少贪图量和数据传输，提高全体运行效果。

与此同期，Gemini 通过精确量化锻练（AQT）等门径不断获得优化，使模子在保证回复质地的前提下进一步缩小了动力阔绰。

在优化推理和就业上，谷歌不断修订 AI 的委派方法，以培育响应速率和全体效果。

比如通过猜想解码技能，较小的模子不错先进行瞻望，再由较大的模子快速考证，从而用更少的芯片提供更多响应。

蒸馏技能则不错诳骗大型模子手脚锤真金不怕火，生成用于就业的微型高效模子（如 Gemini Flash 和 Flash-Lite）。

不仅如斯，为了减少能耗，谷歌在硬件上还罗致定制化。

十多年来，他们一直从零运转遐想 TPU，以最大化每瓦的性能。同期，他们还协同遐想 AI 模子与 TPU，确保软件充分诳骗硬件后劲，硬件也能高效运行异日的 AI 软件。

值得一提的是，最新一代 TPU Ironwood 的能效比首款公开 TPU 高 30 倍，在推理任务中远超通用 CPU。

接下来，便是优化优游资源。谷歌的就业堆栈大致高效诳骗 CPU，并凭据需求近乎及时地动态转念模子，从而最大化减少 TPU 的优游时刻，而不是罗致"设立一次、恒久运行"的方法。

同期，他们的 XLA ML 编译器、Pallas 内核和 Pathways 系统，使得在 JAX 等高档系统中抒发的模子贪图大致在 TPU 就业硬件上高效运行。

再来看谷歌的超高效数据中心，其全体平均动力使用效果（PUE）可达 1.09，为业界最高效的数据中心之一。

终末在数据中心运营方面，谷歌合手续加多清洁动力的使用，以达周密天候无碳运行的标的，同期力图补充办公室和数据中心平均阔绰的 120% 淡水。

此外，他们还优化冷却系统，通过科学的流域健康评估，均衡动力、水资源和排放之间的局部衡量，从而领导冷却方法的选拔，并在水资源垂危地区阻抑用水量。

参考集结：

[ 1 ] https://x.com/JeffDean/status/1958525015722434945

[ 2 ] https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference/

一键三连「点赞」「转发」「注意心」

迎接在评述区留住你的方针！

—  完  —

� �  8 月 22 日本周五，下昼 14 点，量子位 AI 沙龙邀请了RockFlow 创举东说念主、CEO 赖蕴琦 Vakee，一同来聊AI Agent，何如搞投资？

� �  迎接线下参会！濒临面换取 AI Agent、金融投资与 AI 创业   � �  

一键随和 � � 点亮星标

科技前沿发挥逐日见全讯娱乐网娱乐网