全球竞相构建更智能的人工智能(AI)系统，却可能正在忽视一个关键的缺陷。一项新研究发现，尽管各大企业在先进算法上投入巨资，但为这些系统提供养料的数据质量却依然极不稳定;这种状况埋下了隐患，不仅可能限制AI的性能表现，加剧算法偏见，还会削弱人们对AI在实际应用中的信任度。
这项题为《以数据为中心的AI宣言：数据质量如何驱动现代AI》(Data-Centric AI Manifesto: How Data Quality Drives Modern AI)的研究发表于《电子学》(Electronics)期刊。该研究提出了一套全新的框架，旨在将AI开发的重心从传统的“以模型为中心”的模式，转向系统性的“数据质量提升”上来。研究作者汇集了来自机器学习、数据工程及应用型AI系统领域的真知灼见，勾勒出一种全新的范式——在此范式下，数据将成为驱动AI实现卓越性能、高度可靠性及赢得广泛信任的核心原动力。
决定AI性能的关键，在于数据质量而非模型复杂度
该研究旗帜鲜明且极具说服力地指出：如今，AI性能的提升日益受制于用于训练和评估系统的数据质量，而非模型架构本身的优劣。尽管近年来深度学习、Transformer架构以及大型语言模型等领域取得了突飞猛进的发展，但从本质上讲，这些AI系统依然高度依赖于那些塑造其行为模式的基础数据集。
作者指出了数据质量的多个维度，这些维度直接影响着人工智能(AI)的产出结果。这些维度包括完整性、一致性、准确性、代表性和及时性。即使采用了最先进的算法，若其中任何一个维度存在缺陷，仍可能导致模型性能下降。
研究强调的最关键问题之一是“标签质量”。在监督学习中，不准确或不一致的标签会引入“噪声”，从而在训练过程中误导模型。研究指出，即使是微小的标签错误，也可能在整个学习过程中不断累积并放大，最终导致系统性偏差或错误的预测结果。
另一个主要隐患是“数据集失衡”。当某些类别或群体在数据集中代表性不足时，模型往往难以针对这些特定案例做出良好的表现，进而导致结果的不公平性。这一问题在医疗诊断或金融风险评估等应用场景中尤为突出，因为在这些领域，那些代表性不足的案例往往正是最需要引起高度关注的关键案例。
数据的“多样性”同样至关重要。若人工智能系统仅基于狭窄或同质化的数据集进行训练，一旦面临现实世界的复杂多变性，往往便会失效。这种泛化能力不足的现象在各个领域均有体现：从在不同光照条件下表现乏力的图像识别系统，到无法准确解读特定文化语境的语言模型，无不印证了这一点。
在此框架下，仅靠改进模型本身，无法弥补数据存在的缺陷。相反，作者指出，系统化的数据整理、验证与增强工作，必须成为人工智能开发流程中的核心组成部分。
数据管道、可追溯性与数据治理，正成为亟待解决的关键挑战
这项研究揭示了当前数据收集、处理与管理方式中存在的结构性薄弱环节。现代人工智能系统高度依赖复杂的数据管道，这些管道涵盖了数据采集、预处理、标注、存储及整合等多个阶段。其中每一个阶段都潜藏着潜在的故障点，进而可能对下游环节的系统性能产生不利影响。
其中一个关键问题在于“可追溯性”的缺失。在许多人工智能系统中，人们往往难以追踪数据的来源、演变过程及其具体用途。这种透明度的缺失，使得人们难以定位错误的根源、审计模型的运行逻辑，或确保系统符合相关的监管法规与标准。
作者强调，若要构建值得信赖的人工智能系统，“数据血缘”(即能够追踪数据贯穿其整个生命周期的演变轨迹)这一能力至关重要。如果缺乏关于数据如何被收集与处理的清晰记录与文档，各类组织在部署模型时将面临巨大的风险——即所部署的模型其运行逻辑无法得到充分的解释或有效的验证。
数据版本控制是另一个至关重要的考量因素。随着数据集随时间演变，数据分布的变化可能导致“性能漂移”——即基于早期数据训练的模型其准确性逐渐下降。该研究强调，必须建立系统的版本控制机制，以确保模型始终与最新、最相关的数据保持同步。
此外，该研究还指出，数据治理框架的重要性正日益凸显。这些框架必须妥善解决数据所有权、访问控制、隐私保护以及合规伦理使用等一系列问题。鉴于人工智能系统对大规模数据收集的依赖程度日益加深，若缺乏健全的数据治理机制，将引发重大的风险隐患。
合成数据——一种常用于缓解数据稀缺问题的手段——在该研究中受到了审慎的审视。尽管合成数据集能够有效扩充训练资源，但若未经严格的验证，它们也可能引入人为伪影或加剧既有的数据偏差。该研究警示称，过度依赖合成数据可能导致误差的累积与放大，尤其是当模型基于由其他模型生成的数据进行训练时，这种风险尤为突出。
在此背景下，该研究将数据工程定位为人工智能开发领域的一门核心学科，而非仅仅作为一种辅助职能;它要求配备专门的工具、制定统一的标准，并遵循规范化的实践流程。
迈向以数据为中心的AI范式
以数据为中心的AI范式通过将数据质量、管理与治理置于系统设计的核心位置，重新定义了AI开发的优先重点。
在以数据为中心的框架下，迭代改进的重心在于对数据集进行精细化处理，而非持续修改模型架构。这一过程涵盖了数据清洗、重新标注、平衡处理、数据增强以及验证等环节。通过提升底层数据的质量，开发者能够实现更加稳健且可靠的性能提升。
作者还倡导加强领域专家与数据科学家之间的深度融合。领域知识对于识别相关特征、确保标注准确性以及解读模型输出至关重要。若缺乏这种协作，数据驱动型系统将面临脱离现实世界语境的风险。
“人机协作”(Human-in-the-loop)系统被视为该范式中的一个关键组成部分。通过将人类反馈整合进数据处理流程中，各类组织能够持续提升数据质量并纠正错误。在数据分布随时间动态变化的复杂环境中，这种方法显得尤为重要。
该研究进一步呼吁建立能够真实反映现实世界状况的标准化基准与评估指标。传统的基准测试往往依赖于经过精心筛选与编排的数据集，而这些数据集往往无法捕捉到实际运行环境所固有的复杂性与多变性。其结果是，那些在受控环境中表现优异的模型，在实际应用中却可能遭遇失效。
向“以数据为中心”的AI范式转变，意味着必须对资源进行重新配置。各类组织不仅需要在模型开发上投入资源，更应在数据采集、整理与治理方面加大投入。这其中包括组建专门的团队，专注于提升数据质量并完善数据基础设施。
政策制定者需要构建相应的监管框架，以有效应对与数据相关的各类风险。尽管当前的监管法规往往侧重于算法的透明度与问责机制，但作者强调，数据质量与数据治理同样应当获得同等程度的重视。确保AI系统基于准确、具有代表性且来源合乎伦理的数据进行训练，对于维护公共利益至关重要。
在研究领域，本研究呼吁学界更加重视“以数据为中心”的研究方法。这既包括开发用于数据标注、验证与增强的新型工具，也包括探索旨在提升数据利用效率的各类技术。作者提出，未来AI领域的重大突破，或许并非源自新型模型的涌现，而是源自更为卓越的数据实践。
跨学科协作同样具有关键意义。要有效应对数据层面所面临的挑战，必须汇聚来自统计学、数据工程、特定应用领域科学以及伦理学等多个领域的专业知识。通过融合多元化的视角与智慧，研究人员与业界实践者将能够构建出更为稳健且更具责任感的AI系统。
参与评论 (0)