“全球边缘人工智能市场正处于快速增长的轨道上，”Red Hat 公司边缘项目管理高级总监 Joshua David 表示。他指出，预计到 2034 年，边缘人工智能市场的价值将达到 1430 亿美元。
边缘人工智能的增长与人工智能领域的整体重心转移密切相关，即从人工智能训练(使用正确的数据准备机器学习模型)转向推理(实际使用模型在生产环境中应用知识或进行预测)。
“功能强大、节能高效的人工智能处理器方面的进步以及物联网设备的普及也推动了这一趋势，使得复杂的 AI 模型能够直接在边缘设备上运行，”企业数据管理和集成公司 Informatica 的产品管理副总裁 Sumeet Agrawal 表示。
摩根士丹利博客上的一篇文章解释说，人工智能行业正在进入一个“新的、规模可能更大的阶段：人工智能推理”。他们将这一阶段的特征描述为人工智能模型在消费者和企业应用中的广泛应用。
虽然公共云提供了灵活性和易用性，但它们在推理方面也存在一些缺点：延迟增加、数据隐私问题以及处理、数据输入和数据输出成本的增加。
在边缘运行人工智能可以解决许多这些问题。“边缘人工智能提供了几个关键优势，例如降低延迟、降低成本、增强安全性和隐私性，”Red Hat 的 David 表示。
亚马逊最近将主要用于某些机器学习训练任务的 GPU 价格提高了 15%，这表明云人工智能的成本，特别是集中式训练的成本，可能难以预测。IDC 预测，到 2027 年，80% 的首席信息官 (CIO) 将转向云提供商的边缘服务，以满足人工智能推理的需求。
然而，这种转变并非没有障碍。实时性能要求、人工智能堆栈的庞大体量以及碎片化的边缘生态系统仍然是主要的挑战。
接下来，我们将探讨边缘人工智能的发展进展，探索在边缘运行人工智能的新兴技术和实践，并思考在人工智能时代，计算的未来将如何发展。
是什么推动了边缘人工智能的发展?
“边缘人工智能蓬勃发展的主要驱动力是对实时数据处理的迫切需求，”大卫说道。在边缘端而非使用集中式云端人工智能工作负载来分析数据，有助于在数据源头做出即时决策。
其他人也认同这一观点。“人们对边缘人工智能的兴趣正在大幅增长，”Informatica 公司的 Agrawal 表示。对他而言，降低延迟是一个关键因素，尤其是在工业或汽车等领域，这些领域对毫秒级的决策至关重要。
此外，人们也希望在不将数据发送到云端的情况下，为机器学习模型提供个人或专有数据。开源应用平台提供商 Temporal Technologies 的高级软件工程师兼人工智能技术负责人 Johann Schleier-Smith 表示：“隐私是一个重要的驱动因素。”对于医疗保健或金融等受到严格监管的行业，在本地处理此类敏感信息对于合规性至关重要。
“人们对边缘人工智能的兴趣确实在增长，”SUSE 公司边缘业务部门副总裁兼总经理 Keith Basil 表示。他指出，在制造业领域，企业正在探索边缘人工智能的各种应用场景，从运行用于生产线的大型服务器到处理小型传感器的数据。
据 Rockwell Automation 称，95% 的制造商在未来五年内已经投资或计划投资人工智能/机器学习、生成式人工智能或因果人工智能。根据英特尔赞助的 2024 年 CIO 报告，74% 的制造业领导者表示，人工智能有可能帮助他们增加收入。
本地人工智能计算的主要优势是什么?降低成本。“这可以显著优化成本和带宽，因为需要传输的数据量更少，”Agrawal 解释道。
利用边缘计算处理某些工作负载可以降低成本并减少能耗。在 2025 年 1 月发表于 ArXiv 的论文《量化混合边缘云的能源和成本效益》中，研究表明，与纯粹的云处理相比，在建模条件下，使用混合边缘云处理代理人工智能工作负载可以节省高达 75% 的能源，并降低超过 80% 的成本。
正如该论文的作者 Siavash Alamouti 所写：“边缘处理直接利用本地环境来最大限度地降低计算复杂性，并避免了云规模的能源消耗。”
实现本地人工智能的技术
驱动因素似乎很明确，但实现边缘人工智能需要哪些技术?在资源受限的边缘环境中运行人工智能计算可能需要结合使用小型模型、轻量级框架和优化的部署模式。
小型模型
迄今为止，大多数企业都依赖于公共产品中的大型语言模型(LLM)，例如 Anthropic 的 Claude、谷歌的 Gemini 和 OpenAI 的 GPT 模型，来实现人工智能的集中化。但人工智能模型的最新进展正在推动本地化。
具体而言，可自行部署的小型语言模型(SLM)的兴起降低了某些情况下对云人工智能平台的依赖。“小型模型正变得越来越强大，”Temporal 公司的 Schleier-Smith 说道。他指出 OpenAI 的 GPT-OSS 和分层推理模型是近期进展的例子。
优化策略
对于处理能力和带宽等资源受限的边缘设备而言，更小的本地人工智能占用空间非常重要。因此，优化 SLM 的技术将是助力边缘人工智能的关键领域。
一种策略是量化，这是一种模型压缩技术，可以减小模型大小并降低处理要求。“这使得小型语言模型能够在 NPU、谷歌的 Edge TPU、苹果的神经引擎和 NVIDIA Jetson 设备等专用硬件上运行，”Agrawal 说道。
自包含的软件包也有助于大规模实现边缘人工智能的运行。对于 Red Hat 的 David 来说，这意味着可以轻松部署的基础镜像，将操作系统、硬件驱动程序和人工智能模型全部集成在一起。
边缘运行时和框架
新的运行时和框架也有助于优化边缘推理。为此，David 重点介绍了 llama.cpp(一种轻量级生成式人工智能运行时)以及 OpenVINO 和 LiteRT(以前称为 TensorFlow Lite)等框架，用于在本地硬件上使用模型进行推理。
“像 llama.cpp 这样的项目，以及 GGUF 模型格式，正在使各种消费设备上的高性能推理成为可能，”Agrawal 补充道。“同样，MLC LLM 和 WebLLM 正在扩展直接在网络浏览器和各种原生平台上运行人工智能的可能性。”
云原生兼容性
边缘人工智能与云原生生态系统和 Kubernetes 的兼容性也至关重要，因为 Kubernetes 越来越多地部署在边缘端。例如，KServe 被称为“自托管人工智能的开源标准”，它是一个可以帮助在 Kubernetes 上进行边缘推理的框架。
另一项关键技术是 Akri，这是一个由云原生计算基金会 (CNCF) 托管的沙盒项目。“Akri 解决了边缘计算的一个关键挑战：使各种动态且间歇性可用的叶设备能够轻松地被 Kubernetes 使用，”SUSE 的 Basil 解释道。通过使用 Akri 将 IP 摄像头、传感器、USB 设备或其他端点公开为 Kubernetes 资源，您可以更轻松地部署依赖于此类硬件的边缘人工智能工作负载，并在 Kubernetes 中对其进行监控。
开放标准
最后，开放的行业标准可能会在边缘人工智能中发挥作用。“快速发展的边缘人工智能硬件和软件领域带来了显著的互操作性挑战，”Basil 说。他认为，像 Margo(Linux 基金会的一项计划)这样的项目对于制定工业边缘自动化标准至关重要。
ONNX 是另一个新兴标准，旨在改善设备端人工智能推理领域不同框架之间的互操作性问题。
边缘人工智能在实践中面临的障碍
尽管技术已经成熟，但边缘计算的实践仍在发展中。将边缘人工智能应用从概念验证阶段推进到实际生产阶段需要付出一些努力才能克服诸多挑战。
“一个主要的限制是边缘设备资源受限的特性，”Agrawal 说。“它们有限的内存和处理能力使得部署大型复杂的人工智能模型变得困难，因为这些模型通常需要大量的计算资源。”
如何在资源受限的硬件上优化模型大小，同时仍然提供用户期望的计算密集型顶级模型的准确性，仍然是另一个难题。
边缘人工智能的运营实践仍然处于起步阶段。“一个主要的障碍是专用边缘设备所需的复杂硬件支持，这些设备通常无法即插即用，”David 说。对他来说，目前缺乏用于在远边缘部署、监控和管理模型的端到端平台，这迫使人们采用一些复杂的手动解决方案。
“边缘人工智能面临的一个主要挑战是生态系统碎片化，”Basil 补充道。“与标准化、成熟的云计算环境不同，边缘人工智能缺乏硬件、软件和通信协议的通用框架。”行业的分散化导致出现了相互竞争的特定设备软件和技术，从而引发兼容性问题和边缘端的定制解决方案。
Agrawal 表示，管理分布式人工智能模型网络是一项复杂的后勤挑战。“在无数已部署的设备上安全地更新、版本控制和监控模型的性能是一项艰巨的任务，企业必须解决这个问题才能有效地扩展其边缘人工智能应用。”
为了克服这些障碍，专家建议采取以下措施：
- 仅在必要时才采用边缘人工智能(例如在网络连接较差的环境中进行推理)。
- 持续向非技术管理层传达其商业价值。
- 考虑采用混合云-边缘策略，而不是完全边缘或完全云部署。
- 将软件架构层与特定的硬件依赖关系解耦。
- 选择针对边缘设备限制进行优化的模型。
- 从一开始就设想完整的模型生命周期，包括更新、监控和维护。
从集中式智能到分布式智能
尽管人们对边缘人工智能的兴趣日益浓厚，但与向替代云的转变类似，专家预计本地处理不会显著降低对集中式云的依赖。“边缘人工智能将会迎来爆发式增长，但其普及速度将落后于云，”Schleier-Smith 表示。
相反，我们应该期待边缘人工智能通过新的边缘功能来补充公共云。“人工智能不会取代现有基础设施，而是将被部署在边缘，使其更加智能、高效和响应迅速，”Basil 表示。他指出，这可能意味着增强运行传统操作系统的终端设备，或优化本地服务器的运行。
普遍的共识是，边缘设备将在短期内变得更加强大。“我们将看到硬件、优化模型和部署平台的快速发展，从而使人工智能更深入地集成到物联网、移动设备和其他日常应用中，”Agrawal 表示。
“展望未来，边缘人工智能有望实现大规模增长，推动向分布式、以用户为中心的智能的根本性转变。”
参与评论 (0)