Alluxio推出AI训练平台，GPU利用率提高4倍

划重点:

🚀 Alluxio推出全新的企业AI平台，可让客户在GPU设置中提高工作效率4倍。

📈 基于数据虚拟化平台和全新的DORA架构，整体模型培训流程速度提高了20倍。

🔍 这一创新技术利用了硬件加速，将数据从存储库加速传输到GPU，极大提高了性能。

Alluxio最近推出了一款全新的企业AI平台，通过使用高速缓存，可以将GPU设置的工作效率提高4倍。此外，由于采用了数据虚拟化平台和全新的DORA架构，整体模型培训流程的速度提高了20倍。

Alluxio在先进分析市场中享有盛誉，但在人工智能和机器学习领域的知名度较低。然而，随着深度学习的发展，Alluxio看到了将其核心IP应用于AI工作负载优化的机会。他们认识到，一些现有的分析客户存在问题，即无法将他们的深度学习环境扩展到多个GPU。为了协调多GPU环境中的数据流，客户不得不购买高性能存储设备，以加速数据从主要数据湖传输到GPU，或者支付数据工程师以更低级别和手动方式移动数据。

Alluxio看到了使用其技术以实现类似目标的机会，他们的解决方案通过提供更多的自动化和协调来加速将训练数据传输到GPU，从而提高了性能。这一创新技术也就是“Alluxio Enterprise AI”，它可以扩展到超过100亿个对象，对于计算机视觉等领域使用的大量小文件非常有用。该平台还与PyTorch和Tensorflow框架集成，主要用于AI模型的培训，但也可用于模型部署。

根据Alluxio的说法，使用Alluxio Enterprise AI，GPU的容量提高了2到4倍，客户可以将这部分额外容量用于进行更多的计算机视觉培训工作，或者降低GPU成本。一家名为Zhihu的早期测试客户在200台GPU服务器上使用了这一新产品，取得了显著的性能提升。然而，Alluxio指出，这一解决方案并不适用于每个客户，而主要面向需要调整其模型的客户。

Alluxio的新产品可以显著提高GPU的利用率，加速AI模型的培训过程，对于那些需要处理大量小文件的计算机视觉项目来说尤其有用。这将有助于提高深度学习项目的效率，降低成本。