1.简介

      多年来，与人工智能（AI）相关的各种技术一直处于高德纳公司新兴技术炒作周期的顶端。各个行业的组织都在寻找方发，以不同的方式利用人工智能获益。在我们最近访问世界领先的初创公司和科技公司、拥有25000名与会者的Slush活动期间，我们看到人工智能初创公司的展位被淹没了，有时还会排起长队。总的来说，围绕人工智能的炒作早已达到了一种狂热的程度。

      随着人工智能技术的日益普及，它们开始对整个社会产生影响。我们中的大多数人作为消费者和客户每天都在与人工智能系统打交道，大部分人甚至没有意识到这一点。随着人工智能系统数量的增加，我们看到的人工智能系统故障的数量也在增加。

      各种备受瞩目的全球新闻事件引发了公众对人工智能道德的讨论。越来越多的声音，包括研究人员和媒体，以及政府，在这些失败案例发生之后，呼吁建立更有道德的AI系统。有时，这些事件是由于不了解情况造成的就像亚马逊的招聘人工智能对女性有偏见。在使用过去的招聘数据进行训练后，人工智能看到大多数男性被雇用，并因此了解到他们是更适合被雇用的。

      另一方面，有时这些事件只是关于故意的不当行为虽然这更像是一个与一般数据处理有关的教训，但剑桥分析公司的案件就是这样一个例子。剑桥分析公司在未经用户同意的情况下利用脸书用户的数据将其用于政治广告目。尽管他们不是滥用数据的人，但这导致Facebook在宣传上也受到了打击。随着人工智能系统通常处理大量的数据，数据管理的问题很重要。在处理人工智能时，收集任何和所有的数据的诱惑可能会很高，即使这些数据可能在某一天有用，也可能没有用。

      然而，尽管最近在该领域有很多讨论，但在这些强调失败的事件之外，我们对目前人工智能中的道德实践状况知之甚少。软件工程研究人员最近已经开始更广泛地了解人工智能和机器学习是如何改变软件的开发方式的。该领域的公共和学术讨论是否促使较小的行业参与者开发更有道德的人工智能?

      据我们所知，目前还没有利用公司受访者的数据进行的关于人工智能伦理实践现状的调查。现有的调查依赖于文件数据，例如来自指导方针或项目文件。这类调查是在工具和方法、人工智能伦理指南、人工通用智能项目上进行的。在人工智能开发的技术方面，也存在着各种此类的基于文档的调查，比如关于机器和深度学习技术和工具。受访者数据被用于公众意见的调查，以及评估人工智能伦理准则的调查，但没有专门用于人工智能伦理的实践状态。

      为了提供对行业实践现状的必要观察，我们提供了来自211家软件公司的调查数据。我们的数据为这个特刊提供了一些背景，帮助我们了解我们目前作为人工智能行业的行业。对于从业者来说，数据还可以作为衡量组织所在位置的一种方法。

2. 什么是人工智能伦理

      到目前为止，许多关于人工智能伦理的研究主要是理论和概念上的，旨在定义人工智能伦理的有价值的工作。这主要是通过关注的关键原则来实现的。这些原则侧重于与人工智能伦理相关的具体类别的实际问题，如问责制。在我们的调查中，我们关注透明度、问责制和责任，以及作为透明度子集的可预测性。除了可预测性外，这三个原则构成了所谓的人工智能伦理ART原则。

      透明度是关于理解系统是如何工作的。这既是关于算法和数据的透明度，这是系统的技术方面，也是与系统开发相关的透明度。在数据和算法方面的透明度与可解释的人工智能系统的概念有关。除了能够理解这个系统之外，我们还应该能够理解是谁把这个系统变成了今天的样子，以及为什么。

      可预测性可以被认为是透明度的一个子集。它是关于让一个系统来做我们所期望的[2]。我们当然希望我们在智能家居中的自动恒温器能保持室温保持舒适的水平，尽管它了解了我们的习惯。

      问责制指的是与利益相关者相关的责任问题：谁应该对谁负责，应该对什么人负责，为什么要负责？为此目的，法律法规也可以被视为问责。

      责任是模糊的。它是关于合乎道德的行为或做我们认为正确的事情。它与任何特定的道德观念都无关。

      最后，公平性，虽然在我们的调查中没有被提及，但它是关于人工智能系统中的平等性的。公平性已经讨论了数据的公平性或偏见，以及谁受益于人工智能系统。例如，人工智能系统是否扩大了技术熟练的人和技术水平较低的人之间的社会差距？

       这些原则是最近才开始被关注的，之前也讨论过其他各种原则。例如，最近发布的欧盟（EU）可信度人工智能伦理指南认为，可信度是人工智能系统应该达到的目标。该指南将可信度视为一项更高层次的原则，需要实现透明度等原则。其他原则包括与数据相关的原则，如隐私。我们把重点放在突出的主题上。此外，图中只考虑了数据和算法方面的透明度。

      将这一讨论和这些原则付诸实践一直是领域持续面临的挑战[4]。在很大程度上，人们都试图通过制定人工智能伦理准则来弥补这一差距。其中最突出的一个是IEEE的伦理对齐设计（EAD）指南。其他值得注意的人工智能伦理准则包括欧盟（EU）值得信赖的AI伦理准则。总的来说，各种指导方针都是由更大的行业参与者、标准化组织、学术界和政府等制定的。除了我们选择关注的原则之外，这些指南还有其他各种原则，比如数据隐私、非恶意和人类福祉。

      然而，我们目前还不知道这些指南对该行业产生了什么影响。同样，人工智能伦理的当前实践状态一般仍然未知，这是我们现在在本文中阐明的一些东西。

3. 这个行业到底发生了什么？

      公众和学术上的人工智能伦理讨论是否有影响？该行业是否采用了这些指导方针？为了深入了解人工智能伦理的实践现状，我们进行了一项调查，收集了211家软件公司的回复。受访者大多是有能力影响其公司发展的个人:68%的受访者在回答“你能在多大程度上影响你的组织所开发的软件的功能以及对其做出的决定"这一问题。

       这些公司中有一半多一点的公司正在开发或部署一个人工智能系统。然而，那些没有开发人工智能的公司和那些已经开发了人工智能的公司之间的反应并没有明显的差异。因此，我们包括了所有的答复。这本身就是一个有趣的观察结果：人工智能目前只是被简单地视为伦理方面的一个特征。这与一项研究相一致，该研究认为，我们在人工智能项目中所做的90%的活动都与任何软件项目中相同。

      总的来说，这些反应表明，在实施人工智能伦理方面存在复杂的成熟度。对一些问题的回答直接表明了人工智能伦理的不成熟，而一些则表明其相对成熟一些。各种人工智能伦理准则似乎没有对实践产生显著影响，正如人们怀疑的那样。

       多达39%的受访者对责任问题跳过或回答了“我不知道”。这表明这是一个不熟悉的主题，因此从伦理的角度来看也是一个被忽视的问题。此外，这些公司的定性答复还表明，他们甚至没有解决这些问题，而且他们对likert量表问题的回答会让人觉得不是这样的。

      另一方面，在回答可预测性等一些问题时，这些公司对人工智能相关伦理问题更加关注。例如，有一半的组织（48%）对违规行为有一个后备计划。尽管如此，许多受访者指出，他们并没有针对意外的系统行为制定一个后备计划，或者他们不知道自己是否有一个后备计划。有趣的是，大多数组织（51%）认为他们的系统不可能被滥用。

       受访者认为他们可以对系统的开发产生很大的影响，但当被问及开发人员或用户是否负责时，仍然将责任外包给用户。36%的回答者认为在责任方面符合足够的强制性监管标准；过去，应由（最终）用户保持安全。除了公司的责任外，49%的受访者（除了16%的人没有回答这个问题）认为自己要对自己的软件造成的任何伤害负责，即使他们在很大程度上不知道谁是最终的责任人。

      43%的受访者认为在文件方面满足强制性监管标准就足够了。另一方面，26%的人只是报告说文件稀缺或根本没有文件。据报道，43%的公司实现了能够追溯到个人这一经常与问责制讨论的想法。然而，许多这些公司的定性回答让我们怀疑他们是否真的在工作实践中解决了这种程度的问责问题。

      他们对文件的回应也与这些公司认为透明度的重要性有些矛盾。透明度似乎没有被考虑到在系统开发的透明度方面。

      此外，数据和算法的透明度大多是从开发团队的角度，在一定程度上从用户的角度考虑的。很少有公司考虑过对公共部门的透明度，19%的公司对这个问题也简单地回答了“我不知道”。对公共当局的透明度是人工智能伦理中的一个讨论话题。

       尽管机器学习与增加的不可预测性有关，但人工智能公司和其他软件公司之间的反应并没有明显差异。到目前为止，大多数受访者认为他们的系统是可预测的。然而，34%的公司也因系统的意外运营而面临问题，这指出了可能的矛盾。

由于我们的大多数受访者要么来自芬兰公司，要么来自美国公司，所以我们也比较了这两个地点之间的数据。在数据中没有显著的地理差异。主要是，芬兰公司在更受监管的行业经营，因此似乎更强调遵守行业法规。

4. 你的组织应该怎么做？

       我们收集的数据表明，人工智能伦理的实施仍处于起步阶段。这一观察主要是基于开发人工智能的公司对调查的反应与未开发人工智能的公司基本相似。人工智能似乎被认为只是另一个功能，至少就事情的伦理方面而言。

       人工智能伦理与其他新兴的伦理大趋势密切相关。数据中心的电力消耗等生态问题与环保意识的大趋势有关。同样，数据隐私问题与人工智能系统高度相关，因为人工智能系统通常会处理大量的数据。《一般数据保护条例》（GDPR）等法规已经迫使行业组织在数据处理方面采取行动，并突出了政府对处理人工智能伦理问题的兴趣。随着你的用户越来越意识到隐私问题，在数据隐私方面保持道德可能成为一个卖点。

       如果您希望实施人工智能伦理，如IEEE EAD的指南[10]，以及其他的指南，可以提供一个起点。但是，使用这些指导方针需要从您的组织中进行额外的工作，因为它们不会以现成的方法的形式出现。首先，您需要使它们对于您的开发人员、项目团队、产品所有者和客户来说更加实用。

       然而，与指南关注的是系统设计和开发中的问题不同，目前可用的工具侧重于开发过程中的一小部分。例如，在机器学习中存在各种管理不可预测性的工具，但它们只涵盖了人工智能伦理的一小部分。人工智能伦理目前还不存在软件开发的项目级方法。这是该领域的研究目前正在努力解决的问题。作为一个起始点，我们建议重点关注某些关键的实践，而不是仅仅依赖于价值观和原则。

       最终，人工智能项目至少目前和任何其他软件项目一样。根据一项研究，人工智能项目中90%的工作与任何软件项目中都是相同的。人工智能开发仍然是软件开发，因此，开发者在人工智能伦理中也扮演着重要的角色。产品所有者的责任是确保sprint积压项目中包含有道德的用户故事。从软件开发的角度来看，人工智能的伦理可以被视为基于人工智能的软件系统的非功能性要求。当它变得有形时，它就会变得更容易管理。

      最后，在人工智能中实施伦理时，有一些反模式需要避免：

      1）外包道德，例如外包给一个高级道德委员会。软件开发中的质量不能外包，道德规范也不能外包。

      2）假设道德可以不被系统地实施而被成功地实施。让道德问题留给开发者来解决是不太可能的。由于没有任何方法来帮助他们，开发人员只能依靠他们自己的能力。

      3）任命一个人来执行道德规范。没有一个人能或不应该这样做。人工智能伦理是一个战略问题。例如，整个开发团队都应该参与进来，这又回到我们在上一段中提到的内容。

      目前，迫使该行业实施人工智能伦理的法律法规还很少。然而，随着GDPR等法规在全球范围内起草，准备解决人工智能伦理问题已经是未来的保障。就像在已经完工的房子里添加管道比在建造过程中添加管道要贵得多一样，在设计甚至开发过程中解决伦理问题比部署要便宜得多。

       即使没有被迫这样做，将资源用于解决透明度等道德问题已经对您的组织是有益的。当您以透明度的名义增加文档的级别时，您还支持涉众的沟通。在这种方式下，人工智能伦理可以带来好处。从人工智能伦理的角度来看，利益相关者的沟通非常重要，尤其是对于一般公众和监管当局。您还可以从过去的事件中吸取宝贵的教训，如介绍中提到的两个事件。

       随着人工智能系统继续变得更加广泛，此类事件的数量只会增加。软件行业在防止这种情况发生方面处于关键地位。今天的人工智能道德准则将迅速得到回报。