为人工智能和机器学习的“黄金时代”做准备
企业能否相信人工智能和机器学习正在大量涌现的决策?这些决策需要更多的制衡——IT 领导者和专业人士必须确保人工智能尽可能公平、公正和准确。这意味着更多的培训和对数据平台的更大投资。ZDNet 对 IT 高管进行的一项新调查发现,公司需要更多的数据工程师、数据科学家和开发人员来实现这些目标。
调查证实, 人工智能和机器学习计划是大多数企业的前沿和中心。截至 8 月,当 ZDNet 进行调查时,近一半的代表企业 (44%) 正在积极构建或部署基于人工智能的技术。另有 22% 的项目正在开发中。在这个领域的努力仍然是新兴的——59% 的受访企业使用人工智能的时间不到三年。调查对象包括高管、CIO、CTO、分析师/系统分析师、企业架构师、开发人员和项目经理。代表的行业包括技术、服务、零售和金融服务。公司规模各不相同。
Amazon Web Services 机器学习副总裁 Swami Sivasubramanian 称这是人工智能和机器学习的“黄金时代”。那是因为这项技术“正在成为全球企业的核心部分”。
IT 团队在此类工作中起直接领导作用,大多数公司都在内部构建他们的系统。近三分之二(63%)的受访者表示,他们的 AI 系统是由内部 IT 人员构建和维护的。近一半(45%)还通过软件即服务 (SaaS) 提供商订阅人工智能相关服务。另外 30% 的人使用平台即服务 (PaaS),28% 的人求助于外部顾问或服务公司。
首席数字官、首席数据官或首席分析官通常在人工智能和机器学习驱动的输出方面发挥带头作用,50% 的受访者将这些高管视为主要决策者。另有 42% 的人表示,个别部门负责人在此过程中发挥了作用,33% 的受访组织设有公司委员会来进行人工智能监督。其中三分之一的组织将 AI 和 ML 职责分配给数据科学家和分析师。有趣的是,CIO 和 CTO 仅占受访者公司的 25%。
与此同时,人工智能还没有完全渗透到 IT 专业人员和其他员工的日常工作中。例如,只有 14% 的受访者表示,他们的大部分 IT 员工在日常工作中直接使用或访问 AI 技术。
“实施人工智能解决方案并不容易,有很多例子表明人工智能在生产中出错了,”埃维诺高级总监 Tripti Sethi 说。“我们见过的从人工智能中受益最多的公司都明白,人工智能不是即插即用的工具,而是一种需要培养和成熟的能力。这些公司在问‘我可以用数据驱动什么商业价值? 而不是‘我的数据能做什么?’”
技能可用性是企业在构建和维护 AI 驱动系统时面临的主要问题之一。近三分之二(62%)的受访企业表示,他们无法找到与努力转向人工智能所需的技能要求相匹配的人才。超过一半(54%)的人表示很难在他们现有的组织文化中部署人工智能,46% 的人表示难以为他们想要实施的项目找到资金。
数据工程是支持人工智能和机器学习计划最需要的技能,69% 的受访者引用了它。AI 和 ML 算法的好坏取决于输入它们的数据,因此具有数据专业知识的员工对于验证、清理和确保数据的响应交付至关重要。除了数据工程,企业还希望数据科学家开发数据模型和开发人员构建算法和支持应用程序。
近一半(47%)的企业通过第三方或云提供商购买扩展处理能力。这是在技术领域购买的领先硬件领域。只有 11% 的企业购买硬件或系统用于现场实施。至少 42% 正在使用物联网 (IoT) 设备和网络来支持他们的 AI 工作。在人工智能相关软件方面,47% 正在使用 Apache Spark 等分析引擎。另外 42% 的人正在使用 Hadoop 等大数据集群平台,还有 42% 的人正在部署高级数据库。
“对于许多新用户来说,分析不是他们所拥有的技能,这导致外包成为一种可行的替代方案,”SAS 人工智能和分析主管大卫塔林说。例如,已建立且易于理解的分析功能可能需要外部帮助来“微定位、查找欺诈交易”。Tareen 表示,需要新数据源以及创新和高级分析和人工智能方法的新项目可能包括计算机视觉或对话式人工智能。“该项目要求算法决策完全透明。这些类型的项目更难执行,但也提供了新的收入来源和独特的差异化。”
最近几个月和几年,人工智能偏见一直是头条新闻,表明人工智能算法强化了种族主义和性别歧视。此外,对人工智能的依赖引入了信任因素,因为企业领导者可能会将关键决策留给无人值守的系统。企业在人工智能结果中实现公平和消除偏见的努力有多远?数据显示他们并没有那么远,41% 的受访者表示几乎没有检查他们的 AI 输出,或者他们根本不知道是否进行了此类检查。只有 17% 的受访者表示他们会持续检查 AI 输出。此外,58% 的组织尚未向技术人员提供 AI 道德培训,或者根本不知道此类培训是否可用。
公司是否在定期审查其人工智能结果方面做得足够?做到这一点的最佳方法是什么?“全面的 AI 审查需要多方面的方法,”SAS 的 AI 战略顾问 Kimberly Nevala 说。“必须在解决方案开发和部署之前和整个过程中定期评估数据、操作环境、算法和业务成果。这需要涉及多种学科,包括业务流程/性能管理、数据管理、模型管理、安全性、IT ”运营、风险和法律。许多公司在分立元件方面做得很好,但很少提供强大、全面的覆盖。不是因为他们没有意识到需求,而是因为它很复杂。”
58% 的组织尚未向技术人员提供 AI 道德培训,或者根本不知道此类培训是否可用。
Nevala 说,在许多情况下,特别是在高度监管的行业中,“大多数要求的做法都存在”。“然而,它们并没有以协调的方式用于分析系统。更常见的是,审查仅限于时间点检查——分析训练数据、在测试期间验证模型性能或定期报告业务成果。”
然而,有一些措施正在成功地消除偏见。“可以使用常见的数据分析技术和方法来识别数据中的偏差,以解释某些现有算法的底层逻辑,”内瓦拉说。“严格的测试可以暴露隐藏的偏见,例如招聘算法淘汰所有女性。因此,虽然仍处于起步阶段,但组织在寻找和识别偏见方面正在变得越来越好。”
然而,问题在于决定给定的偏见是否公平,内瓦拉继续说道。“这就是公平的用武之地。更复杂的是,一个无偏见的系统可能不公平,而一个公平的系统可能有偏见——通常是故意的。那么,什么是公平?你是在争取公平还是平等?你的目标是什么?目标用户有平等的机会或能力使用解决方案?解决方案的人类是否同意它是公平的?这是我们应该做的事情吗?这些是技术无法回答的问题。解决人工智能中的公平和偏见需要不同的利益相关者团队和协作团队模型。这样的组织模型正在出现,但它们还不是常态。”
“IT 领导者无疑需要更多关于现实世界和人工智能偏见的培训和意识,”Blue Yonder 的联合创始人兼战略顾问 Michael Feindt 博士提倡。“由于世界本质上是不平衡的,反映当前世界和人类决策的数据自然是有偏见的。除非 IT 领导者和员工对其 AI 软件的无意识偏见负责,否则 AI 不会解决歧视问题,尤其是如果它仅依赖于历史人类或”
该流程需要对 IT 内部和外部的所有决策者开放并可用。博思艾伦人工智能战略总监 Kathleen Featheringham 表示,创建负责任的人工智能“需要特定的工具和支持性的治理流程,才能有意义地平衡收益与风险的权衡。” “这些是将负责任的人工智能原则和价值观付诸实践所需的基本要素。组织必须能够以描述性的形式提供所有数据,以便随着变化和用途不断更新,使其他人能够探索涉及数据收集过程的潜在偏见。这是帮助识别和分类模型最初预期用途的关键步骤。除非所有组织都这样做,否则我们无法消除偏见。”
IT 领导者和人工智能支持者可以通过多种方式帮助解决人工智能可操作性和问责制问题。70% 正在寻求持续集成/持续部署 (CI/CD) 方法来处理他们的 AI 和 ML 工作,以确保不断检查算法的组成、相关应用程序以及通过它们的数据。DevOps——使开发人员和运营团队的活动保持一致和自动化——在 61% 的组织中被看到。AIOps——用于 IT 运营的人工智能,旨在应用人工智能来管理 IT 计划——正在调查中超过一半(52%)的公司使用。DataOps 旨在管理和自动化到分析平台的数据流——在 44% 的组织中发挥作用,敏捷计算方法也是如此,有 43% 采用。
特别是 AIOps,它是一种强大的方法,可以在具有许多不同议程和要求的复杂企业中提供 AI 功能。“成功地将试点项目投入运营需要我们从企业的角度全面考虑采用和部署,”支持 120 多个活跃 AI 项目的 Booz Allen 副总裁 Justin Neroda 说。“我们创建了一个 AIOps 工程框架,专注于克服负责任地开发 AI 的试运行后挑战所需的关键元素。AIOps 可以为组织带来许多技术优势,包括减少单个分析师的维护负担,同时最大限度地发挥主题专家的作用 生产力和满意度。这种方法推动了在一系列环境中快速部署预配置 AIOps 管道的能力。它允许在 AI 模型的整个开发、测试和部署过程中实现模型跟踪、版本控制和监控过程的自动化。”
与这些方法相关的是 MLOps,埃维诺数字伦理总监兼全球负责人 Chris McClean 提倡将其作为有效部署和维护机器学习模型到生产中的途径。“MLOps 方法不仅避免了我们看到其他公司犯的常见错误,而且为未来充满持续成功的 AI 部署建立了组织,”McClean 说。他还提倡广泛使用自动化和自动化工具“以更好地衡量和改进 KPI”。
关注业务问题: “寻找已经存在大量未开发数据的地方,”Sivasubramanian 说。“避免修复实际上没有损坏的东西,或者选择一个浮华但商业价值不明确的问题。”关注数据: Sethi 建议采用“现代数据平台”来为 AI 和 ML 工作提供燃料。“我们看到客户开始他们的人工智能之旅的一些关键领域是销售优化、客户旅程分析和系统监控。为了进一步推动数据的规模和可访问性,建立一个基础数据平台是一个关键要素,因为它可以解锁结构化和非结构化数据,并推动这些基础用例。” 此外,Sivasubramanian 表示,管理数据可能会占用 AI 团队的大部分时间。“开始时,要问的三个最重要的问题是:今天有哪些数据可用?可以提供哪些数据?一年后,我们希望从今天开始收集哪些数据?”与业务部门密切合作: “IT 提供基础设施来对数据进行建模,而主题专家使用这些模型来寻找正确的解决方案,”联想高级副总裁兼 CIO Arthur Hu 说。“它类似于一个食谱:它不是关于任何一种成分甚至所有成分;它需要成分之间的适当平衡才能产生预期的结果。确保公平和无偏见地使用 AI 的关键是相同的让它成功的关键首先是:人类主导方向。人工智能的突破只有在各自领域的专家推动下才有可能实现。””当心人工智能“漂移”:“定期审查模型结果和性能”是公司应定期实施的最佳实践,”Sivasubramanian 说。“定期审查模型性能很重要,因为它们的准确性会随着时间的推移而下降,被称为模型漂移的现象。”除了检测模型和概念漂移之外,“公司还应该审查在已经训练的模型中是否随着时间的推移可能会产生潜在的偏差,”Sivasubramanian 说。“即使最初的数据和模型没有偏见,但世界的变化会导致偏见随着时间的推移而发展。”例如,抽样人口的人口变化可能会导致过时的结果。发展你的团队: Featheringham 说,大规模培训“是实现负责任的人工智能的一个关键方面,它结合了人工智能的采用、人工智能道德和劳动力发展。” “道德和负责任的人工智能开发和部署取决于为采用、集成和使用做出贡献的人。人类是每个人工智能系统的核心,应该保持最终控制,这就是为什么他们在每个领导级别进行适当培训的原因,至关重要。” McClean 说,这包括重点明确的培训和意识。“IT 领导者和员工应该学习如何考虑他们正在开发或运营的技术的道德影响。他们还应该能够阐明他们的技术如何支持公司的价值观,无论这些价值观是多样性和包容性,还是员工福祉, 客户满意度,或环境责任。公司不需要每个人都学习如何识别和解决人工智能偏见或如何制定人工智能公平性政策。相反,他们需要每个人都了解这些是公司的优先事项,如果他们想成功,每个人都可以发挥作用。”最终,“创建适用于人类的人工智能解决方案还需要了解人类的工作方式,”内瓦拉说。“人类与人工智能系统打交道如何影响他们的行为和表现?反之亦然。批判性思维、应对不确定性和高效协作也是被低估的关键技能。”