人工智能 (AI) 的变革速度令人惊叹。技术进步几乎日新月异，可用的数据集和 AI 模型也在不断扩展。与此同时，用于在数据集上训练模型并运行这些模型以推断可行洞察的硬件也在快速发展。
电子行业为这些发展提供了框架。当这种规模的变革发生时，整个行业都会做出反应。我们在整个分销行业都看到这种情况，越来越多的客户渴望采用人工智能和机器学习 (ML) 来赋能他们未来的产品和服务。
从宏观层面来看，人工智能和机器学习应用的快速扩张至关重要（目前 Hugging Face 上已有超过 180 万个人工智能模型，并且还在不断增加）。任何技术的成功商业化都需要临界质量带来的动力。
许多与分销商合作的半导体制造合作伙伴已经认清了发展方向。合作伙伴正在携手合作，利用预先训练好的模型，使人工智能和机器学习更容易普及，这些模型可以部署在其硬件平台上进行评估，甚至大规模部署。
这些模型被保存在所谓的“zoo”中，通常可以通过开源许可证从 GitHub 等存储库免费获取。分销商与供应商合作，将这些模型集成到预编译的演示平台中，并在其硬件上运行，开箱即用。
互联未来的基石
任何新技术都会经历相同的阶段。最初，是学术界的兴趣（创新者阶段），用户体验 (UX) 可能不够理想。之后，我们进入早期采用者阶段，此时用户体验已经足够完善，足以吸引更多关注，但投资回报率 (ROI) 尚未完全显现。根据您所关注的领域，您对 ROI 的理解会有所不同。
优化 ROI 以适应大众需求，将我们带入早期大众阶段。重新调整 ROI 则将我们带入晚期大众阶段。尽管人工智能的应用范围巨大，并产生了可观的收入，但它仍处于早期采用者阶段。多模态人工智能将引领我们进入早期大众阶段。
多模态对于人工智能的未来既是不可避免的，也是至关重要的。简单来说，多模态意味着同时使用多种类型的人工智能。如今，大多数类型的人工智能，例如大型语言模型，只使用一种模态。对于聊天机器人来说，这种模态通常是文本。对于面部识别来说，模态是图像。显然，每种数据的表现形式不同，模型需要理解它所处理的是什么。
我们现在也看到了代理型人工智能系统的兴起。代理型是指由多个独立的人工智能代理组成的系统，这些代理在极少的人工指导下协同工作以完成任务。因此，它们也被称为任务驱动型人工智能系统。人工智能代理是针对特定任务（例如面部识别）训练的人工智能模型的实例，并被赋予自主操作的能力。
人工智能代理将成为构建自主系统的重要组成部分。反过来，自主系统将充当航点，引导我们走向人工智能无缝融入生活的未来。
物理自主的人工智能
物理自主系统也依赖于多种模态。这些系统已经可以描述为多模态，但子系统之间的交互可能有限。例如，自主移动机器人 (AMR) 可以使用激光雷达系统在工厂车间导航，并分别使用室内位置感应来了解其在建筑物中的位置。这两个子系统的输出需要同时使用人工智能进行处理，才能真正将其描述为多模态人工智能解决方案。
在我们的AMR示例中，我们可能会将导航子系统的输出与其他传感器数据相结合，作为多模态AI模型的输入。该模型可以根据呈现的数据，以单独的函数推断出人类操作员在该区域内的概率。通过使用多模态AI来处理最初纯粹为导航目的生成的数据，AMR的自主性得到了提升。
实现多模态AI面临着明显的挑战。最明显的挑战是，AI模型通常只处理一种类型的数据。在我们的示例中，该模型需要理解两种类型的传感器数据。在真正的多模态AI系统中，每个导航系统都会使用一个单模态AI模型和一个能够理解前两种模型输出的第三个模型。
即使是这个相对简单的例子，也可能需要三个AI模型同时运行。仅执行一个AI模型所需的处理资源就非常庞大，尤其是在网络边缘。
在边缘实施多模态人工智能
对于嵌入式和互联系统，多模态人工智能将包含机器学习 (ML)。自人工智能兴起以来，机器学习的地位逐渐下降。随着多模态方法的发展，这种情况将会改变，因为机器学习提供了一种（相对）轻量级的解决方案，可以在受限设备中实现经过训练的模型。
更重要的是，机器学习针对特定任务进行了优化。目前，这些任务主要涉及分析小型传感器产生的数据。预测性维护通常被称为边缘机器学习的“杀手级应用”，并且有证据支持这一点，但我们也看到人们对时间序列数据用于其他用途的兴趣日益浓厚。当我们使用机器学习分析特定事件的时间序列数据时，这些观察结果可以构成更大规模多模态人工智能解决方案的一部分。
实现可行的多模态人工智能可以采取多种形式：
- 开发基于多种数据类型训练的模型
- 运行更多模型（使用多个单核处理器或多核处理器）
- 开发可在单核处理器上并发运行的更简单的模型
- 在同一硬件平台上级联多个人工智能或机器学习模型
- 组合多个基于硬件的机器学习解决方案
在这些应用中，更常见的是单个应用级处理器（通常基于 Arm Cortex-A 内核）搭配一个或多个微控制器（通常基于 Arm Cortex-M 内核）。
领先的半导体供应商已经开始进行战略性收购，以增强其在这些领域的产品线。这包括硬件和软件方面的收购。现在，越来越多的开发环境支持用于模型训练的时间序列数据分析。此外，还有一些工程师可以使用这些工具开发多模态解决方案的示例。
多模态 AI 的实践案例
在上面的列表中，最后两个选项在技术上或许最有趣。级联相当于 AI 中的信号调理和预处理。它使用较小的模型对数据进行总体评估，仅在必要时触发较大的模型。
这与某些微控制器在内核处于深度睡眠状态时使用自主外设监控硬件的方式非常相似。外设仅在需要时生成中断以唤醒主处理内核，从而在不牺牲性能的情况下降低系统功耗。级联机器学习模型也遵循相同的原理。
在微控制器上运行算法是边缘机器学习的常态。一些制造商更进一步，将人工智能或机器学习直接嵌入传感器中。我们已经看到一些例子，包括内置人工智能处理器的视觉传感器，以及带有额外逻辑内核的MEMS传感器，旨在执行经过训练的机器学习模型。对多模态人工智能的潜在需求无疑将加速这一趋势。
生成式人工智能是大多数人都熟悉的人工智能类型。将生成式人工智能迁移到边缘是业内许多人关注的焦点。下一步将是使这些基于边缘的系统实现多模态化。
结论
在边缘部署多模态人工智能的需求正在持续增长。我们拥有构建模块、硬件，以及借助 AWS 上的 /IOTCONNECT 等中间件平台，打造云基础设施。
商业案例的涌现速度超出了大多数人的预期。我们已经度过了概念验证阶段，多模态人工智能创造的商业机会是实实在在的。过去几年，人工智能带来的发展势头持续增强，分销商也已做好准备，利用这些进步为客户提供支持。
作者：Jennifer Skinner-Gray
参与评论 (0)