英特尔发布Project Battlematrix推理工作站软件更新
英特尔发布Project Battlematrix(战斗阵列)推理工作站软件更新,英特并计划在第三季度末发布功能更全面的推理强化版LLM Scaler。
今年5月,工作英特尔发布了代号为Project Battlematrix(战斗阵列)的站软推理工作站。推理工作站具有广阔的英特发展前景,主要表现在:一是推理安全部署,数据可在本地进行处理;二是工作易于设置,将所有软件置于容器中,站软提供一站式解决方案;三是英特易扩展,可灵活配置不同数量的推理显卡;四是在成本效益上具有显著优势。Project Battlematrix推理工作站最多可支持八块英特尔锐炫 Pro B60 24GB GPU,工作提供高达192GB的站软VRAM,运行高达1500亿参数的英特中等规模且精度高的AI模型。
英特尔采用容器化方案来帮助客户解决软件部署的复杂性问题。在容器内部,工作对大语言模型进行了大量的优化,包括Linux软件栈的支持、验证以及分阶段的软件发布。基于全新的推理优化软件栈,Project Battlematrix还能够简化英特尔锐炫Pro B系列GPU的部署,加速英特尔GPU和AI战略的落实。
全新的软件栈在设计时充分考虑了易用性和行业标准,是专为Linux环境构建的容器化解决方案。经过优化,该方案能够借助多GPU扩展和PCIe P2P数据传输,带来卓越的推理性能。与此同时,该方案还具备企业级的可靠性和可管理性,如ECC、SRIOV、遥测和远程固件更新等。
LLM Scaler容器1.0版本对于前期客户支持至关重要,英特尔进行了以下更新:
vLLM:
·针对长输入长度(>4K)的TPOP性能优化:在32B KPI模型上,40K序列长度的性能提升高达1.8倍;在70B KPI模型上,40K序列长度的性能提升高达4.2倍
·与上一版本相比,8B-32B KPI模型的输出吞吐量性能优化约10%
·逐层在线量化,减少所需的GPU内存
·支持vLLM中的PP(流水线并行)(实验性)
·支持torch.compile(实验性)
·推测解码(实验性)
·支持嵌入和重排序模型
·增强的多模态模型支持
·最大长度自动检测
·数据并行支持
OneCCL基准测试工具支持
XPU Manager:
·GPU功耗
·GPU固件更新
·GPU诊断
·GPU内存带宽
英特尔表示此版本将按照5月初发布时公开的时间表顺利交付,并计划在第三季度末发布功能更全面的强化版LLM Scaler,同时积极争取在第四季度发布完整版本。
- ·考虑出售广州10.5代面板厂?富士康母公司回应:公司并未拥有面板厂,行业资讯
- ·乒超联赛要来厦门了,你最想看谁?
- ·iPhone15价格跳水后销量霸榜前三 00后作用显著
- ·单场记录:张伯伦得分+篮板王 斯凯尔斯30次助攻
- ·平安守护百分百(2026)两全保险好不好?返多少?优点+案例
- ·山东省领导莅临海辰储能菏泽基地调研指导
- ·河南省消协发布消费提示:节日旅游避免低价团陷阱
- ·转型成“救命稻草” 衣柜企业需循序渐进
- ·汉阴县养老保险经办中心召开社会监督员座谈会
- ·中国消费者协会公布第三季度消费维权舆情热点:共享按摩椅设置不合理、现制饮品不能“去冰”等上榜
- ·中国消费者协会发布春节消费提示:谨慎选购“金包银”首饰
- ·《死神来了6》片长110分钟一刀未剪 8月22日内地上映
- ·泰康有带病投保的保险吗?2025泰康全能保带病投保靠谱吗?
- ·泉州:至2025年拟新增高中学位6.75万个
- ·东方甄选CEO回应小作文事件:极端观点对团队带来困扰
- ·《死神来了6》片长110分钟一刀未剪 8月22日内地上映