SambaNova发布全新AI芯片SN40L 可运行5万亿参数模型

文章概要:

- SambaNova发布了一款智能AI芯片SN40L，可运行高达5万亿参数的模型，实现快速可扩展的推理和训练，而不损害模型准确性。

- 这款由TSMC制造的SN40L芯片可以在单个系统节点上为5万亿参数模型提供256k 的序列长度，这是通过整合技术的新突破，大大提高了模型质量、推理速度，并降低了总拥有成本。

- SambaNova的全栈大语言模型（LLM）平台将由SN40L芯片提供动力，该平台可解决企业在部署生成式人工智能时面临的挑战，包括训练和推理成本、序列长度限制以及LLM速度。

9月26日，位于加利福尼亚帕洛阿尔托的SambaNova Systems公司宣布推出一款革命性的新芯片，名为SN40L。这款芯片将为SambaNova的全栈大语言模型（LLM）平台SambaNova Suite提供动力，并具有革命性的内部设计:在内部，它提供了密集和稀疏计算，同时包括大内存和快速内存，使其成为一款真正的“智能芯片”。

图源备注：图片由AI生成，图片授权服务商Midjourney

SambaNova的SN40L芯片由TSMC制造，可以为5万亿参数模型提供256k 的序列长度，这在单个系统节点上实现，这是通过整合技术的新突破，大大提高了模型质量，同时实现更快的推理和训练速度，降低了总拥有成本。

SambaNova Systems的联合创始人兼CEO Rodrigo Liang表示:“今天，SambaNova提供了唯一的全栈LLM平台——SambaNova Suite，现在还有一款智能AI芯片;这对全球2000家企业来说是一个改变游戏规则的产品。”他还表示:“我们现在能够在一个芯片中提供这两种能力——更多内存的能力，以及最智能的计算核心——使组织能够充分利用广泛应用人工智能的承诺，拥有自己的LLM，可以媲美GPT-4及更高级别的模型。”

这款新芯片只是SambaNova全栈LLM平台的一部分，该平台解决了企业在部署生成式人工智能时面临的最大挑战:“我们已经开始看到对较小模型的需求增加，但更大的模型仍然更好，更大的模型将开始变得更加模块化，”SambaNova Systems的联合创始人Kunle Olukotun表示，“客户要求拥有像GPT-4这样的千亿参数模型的LLM，但他们也希望拥有根据他们的数据进行优化的模型。通过新的SN40L芯片，我们迄今为止最先进的AI芯片，集成到全栈LLM平台中，我们为客户提供了运行最大LLM模型的关键，具有更高的训练和推理性能，而不损害模型准确性。”

SN40L芯片的独特之处在于它可以同时处理高带宽内存（HBM）和动态随机存取内存(DRAM)，使人工智能算法能够选择最适合当前任务的内存，从而直接访问远比以前更多的内存。此外，通过使用SambaNova的可重构数据单元(RDU)架构，芯片设计以更智能的计算方式高效运行稀疏模型。

SambaNova Suite中的新模型和功能包括Llama2变种（7B、70B），使客户能够自适应、扩展并运行最佳的LLM模型，同时保留这些模型的所有权。此外，还有BLOOM176B，这是开源社区中最准确的多语言基础模型，使客户能够通过各种语言解决更多问题，同时还可以扩展模型以支持新的低资源语言。

SambaNova 还包括一个用于基于向量的检索增强生成的新嵌入模型，使客户能够将其文档嵌入到向量嵌入中，在问答过程中检索这些嵌入，而不会导致幻觉。LLM然后将结果用于分析、提取或总结信息。此外，还有世界领先的自动语音识别模型，用于转录和分析语音数据，以及其他多模态和长序列长度功能。此外，还提供了推理优化系统，配备了3层数据流内存，以实现高带宽和高容量。