据香港IDC新天域互联了解,在各人AI算力竞争日趋锐利的配景下,谷歌云(Google Cloud)在最新一届App Dev & Infrastructure峰会上发布重磅新品——新一代云霄超等臆想职业Hypercomputer选取六代TPU(张量经管器)Trillium,展现了其在AI基础体式界限的宏愿。
手脚现在浮点运算性能最强的TPU,Trillium的单一集群可提供高达91 exaflops的算力。与昨年发布的TPU v5e比拟,新品在AI模子考试性能上栽培了4倍,推理蒙眬量栽培3倍,单芯片峰值臆想性能更是栽培了4.7倍。值得夺目标是,在性能大幅栽培的同期,其动力耗尽却减少了67%,体现了谷歌在绿色臆想方面的时间冲突。
在骨子性能测试中,Trillium在开动Gemma 2-27B、MaxText Default-32B和Llama2-70B等大模子时,性能较上一代TPU v5p栽培特地4倍。从老本效益角度来看,Trillium比v5e越过1.8倍,比v5p越过2倍,展现出极具竞争力的性价比。
硬件升级方面,新品在高频内存(HBM)容量和芯片间互连带宽上王人已矣了翻倍栽培。通过芯片互连时间(ICI),单个高带宽低延伸Pod最多可推广至256个芯片,并可通过不绝数百个Pod酿成包含上万颗芯片的超等臆想集群。相助谷歌13 Petabit/s的Jupiter数据中心收罗,可已矣接近线性的性能推广。
除了新一代TPU,谷歌云还推出了多项配套产物:搭载NVIDIA H200 Tensor Core GPU的A3 Ultra VM预览版将于11月推出,其GPU间收罗带宽和LLM推感性能较前代产物栽培1倍;基于自研Arm架构Axion经管器的C4A VM职业也已上线,较传统x86架构VM在性价比和能效方面分散栽培65%和60%。
在收罗体式方面,新上线的Jupiter光纤交换收罗提供400Gb/s的原生不绝速率和13.1Pb/s的对分带宽,据称可经管地球上总共视频图像。同期推出的AI/ML专用存储职业Hyperdisk ML在数据传输速率上达到了1.2TB/s,超越竞争敌手近100倍。
跟着AI时间快速发展,算力需求呈指数级增长。这次谷歌全面升级AI基础体式,不仅展现了其在AI芯片界限的时间实力,更预示着新一轮算力竞争的到来。在英伟达主导的AI芯片市麇集,谷歌能否凭借新品翻开时事,值得市集捏续关怀。