NVIDIA初创加速计划会员企业HTZL.AI是国内领先的企业级私有AI基础设施提供商,致力于企业级私有AI基础设施的研发,主打“数据不出企业、模型不进云端”的私有化AI路径,已在环保咨询机构、出海企业等对数据安全(885942)要求较高的行业落地。
随着大模型在企业场景快速渗透,落地场景正由“公有云SaaS”扩展至“客户办公室或机房内的私有化部署”。不同于公有云场景,私有化部署对系统提出了全新挑战:业务要拥抱120B级大模型,但任何一份外泄都意味着商业泄密甚至法律责任,绝不能在公有云大模型中被分析、缓存以及训练。
为实现安全可靠的私有化推理,HTZL.AI选择NVIDIA DGX Spark作为单机部署底座,提供媲美高端算力中心的高性价比方案。NVIDIA Grace Blackwell架构提供128GB CPU/GPU统一内存,具备更大容量的模型加载能力;包括CUDA、TensorRT-LLM等在内的丰富的NVIDIA软件生态则为多模型推理与向量并行计算提供了高质量算力支持。
依托NVIDIA DGX Spark,HTZL.AI为数据敏感客户带来了显著优势,实现了在客户自有办公室或者机房内对大模型推理、向量检索、业务数据与Agent编排的全方位自主可控。同时,在成本与能耗方面,相较于传统多卡GPU工作站,HTZL.AI基于NVIDIA DGX Spark的方案可帮助客户将硬件投入降低约50%,能耗降低90%以上。
