人工智能 (AI) 是增长最快的企业技术之一。
据 IBM 统计，目前 42% 拥有 1,000 多名员工的公司在其业务中使用人工智能。另有 40% 的公司正在测试或试验人工智能。
许多创新是由生成式人工智能 (GenAI) 或大型语言模型 (LLM)（例如 ChatGPT）驱动的。这些形式的人工智能越来越多地应用于企业应用程序或与客户互动的聊天机器人。
目前，大多数 GenAI 系统都基于云，但供应商正在努力简化 LLM 与企业数据的集成。
LLM 以及更“传统”的 AI 和机器学习形式需要大量的计算和数据存储资源，无论是本地部署还是云端部署。
本文将探讨 AI 在训练和运行阶段面临的一些数据存储压力点以及合规性需求。
AI 训练对存储 I/O 提出了巨大的要求
AI 模型在使用前需要进行训练。训练质量越高，模型越可靠——而就模型训练而言，数据越多越好。
“任何模型的关键在于其性能，”Omdia 云和数据中心业务首席分析师 Roy Illsley 表示。“这句话的意思是，‘糟糕的数据加上完美的模型等于糟糕的预测’，这句话说明了一切。数据必须干净、可靠且易于访问。”
因此，训练阶段是 AI 项目对 IT 基础设施（包括存储）需求最高的阶段。
然而，目前尚无单一的存储架构能够完全支持 AI。存储类型取决于数据类型。
对于大型语言模型，大多数训练都是使用非结构化数据进行的。这些数据通常存储在文件存储或对象存储中。
与此同时，金融模型使用结构化数据，其中块存储更为常见，并且一些 AI 项目会同时使用这三种类型的存储。
另一个因素是模型训练在哪里进行。理想情况下，数据需要尽可能靠近计算资源。
对于基于云的模型，这使得云存储成为典型的选择。云基础架构中的输入/输出(I/O)瓶颈问题不如将数据移入或移出云所遭受的延迟问题严重，超大规模云提供商现在提供了一系列高性能存储选项。
反之亦然。如果数据是本地的，例如在公司数据库或企业资源规划系统中，使用本地计算来运行模型可能是有意义的。这使得AI开发者可以对硬件配置进行更多的控制。
人工智能模型大量使用昂贵的图形处理单元(GPU)，因此使存储与GPU需求保持同步是关键。然而，在某些情况下，中央处理器比存储更有可能成为瓶颈。这取决于模型的类型、接受训练的数据以及可用的基础设施。
Pure Storage公司EMEA地区首席技术官Patrick Smith说:“它需要尽可能地高效。“这是底线。在GPU、网络和后端存储的能力和性能方面，您需要一个平衡的环境。”
企业计划使用其人工智能模型的方式也将影响其对本地或云存储的选择。人工智能的训练阶段是短暂的，云存储可能是最具成本效益的，性能限制也不那么严重。培训完成后，企业可以降低存储速度。
然而，如果在运营阶段需要保留数据——用于微调或持续培训，或者处理新数据——那么云的按需优势就会被削弱。
人工智能推理需要低延迟
一旦对模型进行了训练，它对数据存储的需求就会减少。一个生产人工智能系统通过调整的算法来运行用户或客户的查询，这些可以是非常高效的。
“与用于训练人工智能的计算资源规模相比，人工智能训练产生的模型通常较小，而且它不需要太多的存储空间，”北方数据集团(Northern Data Group)旗下Taiga Cloud的云工程总监Christof Stührmann表示。
尽管如此，系统仍然有数据输入和输出。用户或应用程序向模型输入查询，然后模型类似地提供其输出。
在这个运行或推理阶段，AI 需要高性能 I/O 才能有效运作。所需数据量可能比训练阶段小几个数量级，但输入数据和返回查询的时间却可能以毫秒为单位。
一些关键的 AI 用例，例如网络安全和威胁检测、IT 流程自动化以及用于安防的生物识别扫描或制造业的图像识别，都需要快速获得结果。
即使在使用 GenAI 创建像人类一样交互的聊天机器人的领域，系统也需要足够快，以确保响应看起来自然。
同样，这取决于模型以及 AI 系统的目标。“有些应用程序需要非常低的延迟，”Illsley 说。“因此，AI 必须尽可能靠近用户，而数据可能只占应用程序的一小部分。其他应用程序可能对延迟不太敏感，但涉及大量数据，因此需要将 AI 放置在存储附近，并具备所需的容量和性能。”
人工智能的数据管理
人工智能对存储的第三个影响是持续收集和处理数据的需求。
对于“传统”人工智能和机器学习，数据科学家希望访问尽可能多的数据，因为数据越多，模型就越准确。
这与组织更广泛的数据和存储管理方法息息相关。需要考虑的因素包括数据存储在闪存还是旋转磁盘上、归档文件存放的位置以及历史数据的保留策略。
人工智能训练和推理阶段将从整个组织中提取数据，这些数据可能来自多个应用程序、人工输入和传感器。
人工智能开发人员已经开始将数据结构视为“喂养”人工智能系统的一种方式，但性能可能是一个问题。数据结构可能需要跨不同的存储层构建，以平衡性能和成本。
目前，GenAI 的挑战性较小，因为 LLM 是基于互联网数据进行训练的，但随着越来越多的公司希望使用自己的数据来构建 LLM，这种情况将会改变。
AI、数据存储与合规性
企业需要确保其 AI 数据的安全，并遵守当地法律法规。
这将影响数据的存储位置，因为监管机构越来越关注数据主权。在基于云的 AI 服务中，需要了解数据在训练和推理阶段的存储位置。组织还需要控制模型输入和输出的存储方式。
这也适用于在本地系统上运行的模型，尽管现有的数据保护和合规性政策应该涵盖大多数 AI 用例。
尽管如此，谨慎行事仍是值得的。“最佳实践是设计哪些数据进入 AI 学习的训练池，并明确定义哪些数据需要保留在模型中，哪些不需要，”PA Consulting 的数据安全专家 Richard Watson-Bruhn 表示。
“当公司使用像 ChatGPT 这样的工具时，将这些数据存储在云端并传输到海外是完全可以的，但需要制定合同条款来规范这种共享。”
参与评论 (0)