当前位置:首页软件资讯 → ‌全球最小AI超算诞生:300克掌中设备可运行千亿参数

‌全球最小AI超算诞生:300克掌中设备可运行千亿参数

时间:2025-12-14 08:42:31 作者:阿归

  科技媒体Wccftech报道,初创公司Tiiny AI近日发布了号称全球最小的AI超级计算机——Tiiny AI Pocket Lab。这款设备仅重300克,尺寸如手掌大小(14.2 × 8 × 2.53厘米),却搭载了ARMv9.2 12核CPU、80GB LPDDR5X内存和1TB SSD存储,AI算力高达190 TOPS。

  其最大亮点在于能成功部署并本地运行1200亿(120B)参数的大语言模型(LLM),支持“博士级推理、多步骤分析和深度上下文理解”任务。这得益于其两项核心技术:TurboSparse(神经元级稀疏激活技术)和PowerInfer(开源异构推理引擎),它们显著提升了推理效率。

  该设备支持一键部署GPT-OSS、Llama、Qwen等数十种主流开源模型,完全离线操作,功耗控制出色(TDP 30W)。Tiiny AI计划在CES 2026上正式展示这款产品。

相关文章

关于本站 | 联系方式 | 版权声明 | 下载帮助(?) | 网站地图

备案编号:闽ICP备2021013604号-1

Copyright 2018-2025 eiruan.com 【A软下载网】 版权所有

本站所有数据来自互联网,版权归原著所有。如有侵权,敬请来信告知,我们将及时撤销。