算法歧视关涉的伦理问题与解决进路

　　摘    要：　算法歧视关涉三个具体的伦理问题：算法公平、算法身份的污名化与隐私。其原因在于：一是数据中预先存在的偏见所导致的算法歧视；二是使用算法本身可能是一种歧视；三是算法决策中数据的抽样偏差及其所设置权重的不同也有可能导致算法歧视。基于此，至少可从技术进路、哲学进路与法治进路三个方向探究规避算法歧视的可能性，进而实现算法公平。

　　关键词：　算法歧视; 算法公平; 算法身份污名化;

　　Abstract：　Algorithmic discrimination involves three ethical issues: algorithmic fairness, the stigmatization of algorithmic identity, and privacy. The reasons are as follows: First, algorithmic discrimination can be caused by the preexisting bias in the data; Second, using algorithms itself may be a form of discrimination; Third, the sampling bias of the data and different weight settings in the algorithmic decision-making may also lead to algorithmic discrimination. Therefore, algorithmic discrimination can be avoided from three directions: the technical approach, the philosophic approach and the approach of rule of law, so as to realize algorithmic fairness.

　　Keyword：　Algorithmic Discrimination; Algorithmic Fairness; Stigmatization of algorithmic identity;

　　大数据与人工智能的快速发展使算法融入并塑造我们的现实生活。据中国互联网网络信息中心于2018年8月20日发布的《中国互联网络发展状况统计报告》显示，截止2018年6月30日，我国网民规模达8.02亿。如此巨大的网民规模使我国成为“数据土豪”。在此基础上，智慧城市、智慧司法、精准医疗、在线教育等渐入发展快车道。具体而言，物联网、大数据和无处不在的传感器记录着每一个网络足迹。而算法则利用汇集人类行为的大规模数据集决定数据主体能够获得的教育、医疗、信用、治安、就业机会等。然而，在此过程中已出现一种不容忽视的负面后果，即算法歧视。对此，2016年5月美国白宫发布名为《大数据报告：算法系统、机会与公民权利》的报告。该报告明确指出，我们在享用大数据和算法为生活所带来便利的同时也要关注其可能造成的意外后果，尤其是算法歧视。由于算法歧视涉及到社会的公平与正义，因此有关算法歧视的讨论就不仅局限于认识到算法歧视的存在，也不只局限于对算法所带来的风险与利益的权衡，而是亟需进一步深入思考：什么是算法歧视、算法歧视的判定标准、算法歧视产生的原因、其关涉的伦理问题及解决进路等问题。

　　一、算法歧视及其产生

　　“算法歧视”由算法与歧视两个概念组合而成。算法指的是“有限的、抽象的、有效的、复合的控制结构，以在给定规则下完成特定的目的。其中，规则与目的是算法意向性的体现，言说着算法做了什么或为我们带来了什么。”[1]该定义中所包含的目的与规则暗示着算法必须被实施、执行并产生某种社会影响，换言之，算法可进一步理解为数学架构、实现（技术和程序）和配置（应用程序），即将抽象的数学架构实现为技术与程序以及特定任务配置的技术应用。[2]何为歧视呢？歧视在《布莱克维尔政治学百科全书》、《韦氏词典》等权威辞书中具有两种基本含义：一是作为贬义词的差别对待，二是作为中性词的区别、辨别、识别等。算法话语中所讨论的是消极意义上的“歧视”，即“在某一特定群体或类别中，基于成员的身份而对其施以不合理的待遇”，[3]或“不同的规则适用于类似的情况，或同一规则适用于不同的情况”。[4]

　　1. 算法歧视的表现形式

　　依据歧视意图是否存在及其存在方式，算法歧视具有三种表现形式：显性歧视、隐性歧视和差别性影响。具体而言：“显性歧视（explicit discrimination）指的是算法明确使用、分析受保护群体的种族、民族等相关特性，并将其作为算法决策的因素之一，进而导致不公平的对待。不同于显性歧视对受保护群体相关因素的直接依赖，隐性歧视（implicit discrimination）则是由于嵌入软件指令中的偏见、有偏差的数据集和工具使用，以及通过有目的地选择训练数据、设定标签、选取特征等掩蔽行为而产生的不平等对待。算法歧视的第三种表现形式是差别性影响（disparate impact），它指的是算法既未明确使用受保护群体的特征，也不存在掩蔽、潜意识偏见、有偏差的数据等，但算法决策的结果仍会倾斜于少数群体或受保护群体。换言之，此种算法歧视仅具有差别性影响的特征。”[5]综上，显性歧视中算法设计者或使用者的“主观歧视意图（即意志的意图）”[6]较为明显，而隐性歧视则利用算法将歧视意图隐藏的更深，因而这两者可统归为差别性对待或直接歧视。差别性影响虽无表面上主观的歧视意图，却由于其具有形式上的中立性与实践上歧视性，因而亦产生歧视后果。
 

　　2. 算法歧视的类别

　　依据算法歧视是否关涉身份权可将其大致分为两类：一类是关涉身份权的算法歧视；一类是无涉身份权的算法歧视。“身份性歧视是指对于某种身份存在偏见，它意味着社会对某些群体具有一种身份性的偏好，即使这些群体毫不逊色于其他群体，也会被主流社会排斥或拒绝。美国社会对黑人的种族歧视是典型的身份性歧视。”[7]基于此，关涉身份权的算法歧视是指算法借助识别个体或群体的宗教、民族、种族、肤色、性别而施以不平等的对待。无涉身份权的算法歧视则是指算法决策中个体虽不受身份影响，仍遭到不平等的对待，例如大数据杀熟与价格歧视。此外，统计性歧视在某些情况下也可归为无涉身份权的算法歧视。其发生源于在大数据与算法结合的环境下，“个人的‘涉己行为’同时也是‘涉他行为’。算法决策的重要环节之一就是分类，但此分类不是固定不变的，而是临时的，即个体置身于临时群组之中，其实时的行为数据可为临时群组提供新的信息，也可让算法更加了解同属该群组的其他成员的想法和行为，更会更改算法对这个临时群体的预测，进而对其他成员带来直接影响。如若A易患某种危险疾病，其健康信息将修正其所属群组的参数，以至其他成员也面临着拒绝受理医疗保险的风险。”[8]

　　3. 算法歧视何以产生

　　借鉴莱普利·普鲁诺（Lepri Bruno）的观点，算法歧视产生的根源可概括为三个方面：“一是有偏见的训练数据以反馈循环的方式导致的歧视；二是使用算法本身就可能是一种歧视；三是输入的数据的抽样偏差与权重设置较差也会导致歧视。”（[4]，pp.4-5）具体而言：

　　首先，数据中预先存在的偏见导致算法歧视。此类歧视通常在创建算法系统之前就已存在，算法只是将其反馈出来。换言之，先前存在的偏见不仅可以无意识地影响算法设计者选择使用哪些算法，还可以通过个人或机构有意识地或无意识地进入算法，即通过定义目标变量而嵌入算法。其次，使用算法本身可能是一种歧视。在算法系统中，基于算法分类进行的优先化排序、关联性选择和过滤性排除是一种直接歧视，涉及差别性地对待与不公正。在其中，尤为明显的是“类标签”的确定。歧视的风险不仅存在于类标签本身的定义中，也存在于随后其对规则的推断。依据类标签的定义，算法将所有数据划分为相互排斥的类别。由此，基于类标签的定义，数据主体被赋予了一种新的身份，即“算法身份（algorithmic identity）”。算法身份是通过识别IP地址、密码、网络行为足迹等信息性密符（informational shibboleths），进而使用统计模型自动确定一个人的阶级、性别、种族等，在其中统计性推断起着至关重要的作用，其内在逻辑是在个人层面无法计算的东西，在集体层面上是可以计算的，因而当依据算法身份对主体进行判断时，就会将主体与一个虚拟的、概率性的群体或类联系起来，而这种联系不一定有任何合理的理由，且可能导致对主体的刻板印象和歧视。[9]再次，算法决策中数据的抽样偏差及其所设置权重的不同也可能导致算法歧视。算法决策的客观性与正确性是建立在对所输入数据的两个假设之上，即数据是客观正确的且很好地表征了所要预测的个体。[10]前面已经提到数据并非总是客观正确的，而是可能裹挟着偏见。这里涉及到的另一个问题是，算法所使用的数据也许并不能很好地表征个体，即数据的代表性不足。另外，算法设计者对不同因素的权重分配不当也会导致歧视。例如，在警务预测中，所用算法若过分强调邮政编码的权重则可能导致低收入的美国黑人社区与犯罪社区的关联更大。

　　二、算法歧视关涉的伦理问题

　　在算法背景下讨论歧视问题，不仅需要研究到底存在何种歧视形式，更为重要的是阐明为什么要禁止它们。（[5]，p.1382）从伦理的角度而言，反对算法歧视的原因在于它涉及到公平与算法身份污名化两大伦理问题。

　　1. 算法公平：个体公平与群组公平

　　首先，算法歧视涉及到算法语境下对“公平”的诠释问题。学者对公平有诸多不同的理解，但在算法语境下讨论公平涉及到两个问题：其一，公平是否可以量化、形式化？其二，如果公平可被量化、形式化，那么选择何种公平理论是恰当的？对于第一个问题，从当前各领域的研究成果来看，答案是肯定的。防止歧视的数据挖掘和算法公平俨然成为新兴的研究范式，试图借此发现并消除算法引发的不公平现象。康奈尔大学信息科学部学者梭伦·巴罗卡斯（Solon Barocas）、普林斯顿大学信息技术政策中心学者约书亚·克罗尔（Joshua Kroll）等人建立了专注于机器学习公平、透明与可责的研究中心（FAT-ML,Fairness,Accountability,and Transparency in Machine Learning），鼓励计算机领域的学者在预防算法歧视的前提下设计算法。

　　针对第二个问题，公平在算法中通常被量化、形式化为两种形式：群组公平（group fairness）与个体公平（individual fairness）。群组公平又被称为统计奇偶性（statistical parity），指的是接受正分类或负分类的人的比例与整个人口统计是相同的，旨在平等地对待所有群体，它要求通过算法而进行的决策结果在受保护群体与非受保护群体之间的比例相等。例如，若某行业从业人口的男女比例为1:2，那么受雇佣的男女比例也应接近1:2。然而，学者辛西娅·德沃克（Cynthia Dwork）等人则认为群组公平并不足以保证算法决策结果的公平性，因为就个人角度而言，它可能造成不公平。例如，在申请贷款中，群组公平并不能保证A与B两个群体中信誉度类似的两个人获得相同的贷款概率。因此他们提倡另一种形式的公平——个体公平。个体公平可被阐释为平等地对待相似的个体。德沃克通过测量在特定任务中个体之间的相似度而保证分类的公平性，以防止个体由于从属于某一群体成员而被歧视。[11]学者马修·约瑟夫（Matthew Joseph）则将个体公平进一步发展为个体机会均等：通过将约翰·罗尔斯的“机会平等原则”以数学的方式形式化，建立机器学习中的上下文赌博机（contextual bandits），以保证算法的每一步都公平地对待相似的个体。[12]

　　事实上，在“群体公平”与“个体公平”选择的背后隐藏着设计者的不同世界观。“群体公平所隐含的是‘我们都是平等的’，即在算法的特征选择过程中，个体所组成的群组之间并没有天生的差异，他们看起来都是一样的。或者说，即使存在差异，这些差异都是由个人控制之外的因素造成的，在算法决策过程中不应考虑这些因素。个体公平隐含的则是‘所见即所得’。也就是说，针对算法特征选取的观察方法能够较为真实地、准确地表征个体并作为算法的输入。”[13]

　　但算法语境下公平的形式化仅是对公平阐释的内容之一，而非全部。对此，学者迈克尔·斯克潘（Michael Skirpan）认为，算法语境下对公平的诠释需要重视两个问题：“一是诠释算法公平时，公平更多的是一种公平建构（fairness construct），即公平不是静态的，而是动态的，对其诠释依赖于算法所要解决的特定问题空间以及在训练和应用中对该诠释进行编码和测量的方法。二是需超越上述对技术方法之公平的关注，重视算法系统的公平性与结果的公平性。算法系统的公平性即采用算法系统解决某个特定问题是否恰当。例如，算法驱动的路线导航之自主实验系统不仅在缺乏用户知情同意的情况下利用用户的无知而开展实验，而且在实验过程中整个算法系统可能会更倾向于选择那些信息较少的用户作为实验对象，这就提出了如何在实验对象与非实现对象之间公平分配利益与风险的问题——结果的公平性，即算法X的结果是否公平。它可被理解为对算法歧视的事后控制，可以使用特殊的事后分析方法发现黑盒模型可能存在的不公平。”[14]

　　2. 算法身份的污名化

　　第一，算法歧视关涉个体被赋予何种算法身份。如前所述，在算法决策中，个体被赋予一种新的身份，即“算法身份”。但它并非静态的、不可更改的，而是具有交互性、适应性和可跟踪性等特征：（[9]，p.77）一方面，“算法身份”可随时追踪个体与所属临时群组中其他人的信息更新，并依据这些新信息更改个体算法身份；另一方面，新的信息也在更新与重建算法本身。正如学者塔尔顿·吉尔斯皮（Tarleton Gillespie）所言，算法是偶然的、不稳定的，因为用户的每一个点击、新数据的增加等细微的变化都将调整与重塑算法。[15]在此意义上，算法身份“就像信息流一般，新的判断、分数、风险评估等不断地被扔进其中。”[16]然而，由于算法身份是基于多种数据库、算法以及决策者交互而构建的，其对个体的理解及其算法身份的确定“不是依据个体的实际行为，而是依据算法所识别的个体与他人的关系”，（[2]，p.8）加之前面提到的数据偏差、不合理地分类等原因，个体的算法身份可能与个体的现实状况并不相符，并被贴上某种标签而使其在算法决策中易受到歧视。更讽刺的是，即使算法在推断个体身份时能克服这些问题，那么接下来的问题则转变为如果算法过于准确地推断受保护群体的成员资格，依然可能会据此确定算法身份并在此基础上对他们进行歧视。[17]

　　第二，一旦将个体算法身份贴上某种易于被歧视的标签，就会产生双重累积劣势。[18]累积性优势/累积劣势是默顿对科学界职业分层中“马太效应”现象提供的一种结构性解释。其中累积优势指的是任何个体、群体或地区一旦在社会地位、信誉、经济状况等方面获得成功，就会产生一种累积优势，进而获得更多的机会和更大的成功；累积劣势则是对其相反状况的描述。为什么是双重累积劣势？一方面，算法越是精准地推断受保护群体或少数群体中个体的成员资格并据此对其进行分类，其在决策结果中受到的歧视可能性就越大。例如，“由于一系列复杂的因素，收入不平等在美国黑人之中很明显，它通常是经过几代人的劣势累积而形成的代际负担。身体健康等生活质量、政治参与程度以及社会理论家所言的信心、知识等‘社会资本’不仅与美国黑人的收入状况相关联，而且会加强其在地理上的孤立并重生与扩展他们在收入中的劣势累积，进而导致他们所居住的社区成为风险状况的一个重要指标。这些因素都将以数据的形式输入算法并被呈现，进而导致美国黑人在生活机会的分配中再次受到负面影响。”[19]

　　另一方面，基于算法对受保护群体或少数群体中个体成员资格的推断，其决策结果带来教育、就业机会、医疗等方面的负面影响，则可能在日后生活中进一步加剧，并导致自我应验预言的实现与污名化。（[2]，p.9）原因在于，基于算法身份的算法决策会产生关于个体的新推断，并影响个体的行为，进而形成更多的数据，而这些新数据则会成为算法再一次对个体进行分类、确定算法身份并作出推断的数据基础。如此一来，劣势则会越累积越多。与此同时，算法在劣势累积影响下所作出的推断与决策结果还将导致对少数群体或受保护群体的负面成见，即污名化与自我应验预言的实现。例如，“当一个算法评分系统表明，某个受保护群体的成员在特定环境下信用评分较低时，它会传达这样一种信息，即该成员乃至这个群体的所有成员在诸多情况下都是不值得信任的。如此一来，其他人对该群体的看法以及该群体内成员对自我的看法都会受到影响，这就是污名化与自我应验预言的实现。”（[5]，pp.1398-1399）事实上，这在更深层次涉及到了算法系统的记忆与遗忘问题。更准确地说，“是算法决策中的数据追溯与使用问题，即个体数据应该保留多久、何时应该删除，应该使用过去多久的数据来合理地评价个体。破产法、青少年犯罪记录以及金融信用报告中都存在这样的规定：在规定年限之后，个体就有权要求制度上的遗忘，即将相关数据删除并消除其累积效应，进而能够‘重新开始’”。[20]

　　综上所述，算法歧视主要涉及到算法公平与算法身份污名化两大伦理问题。但这并不意味着算法歧视仅仅涉及到上述两个问题，它还不同程度地涉及其他伦理问题，如隐私。具体而言，算法歧视关涉到对个人识别信息的保护。特别是在算法决策环境下，关于个人的算法决策在某种程度上代表了个人信息，因而就关涉到对个体识别信息（尤其是受保护群体某些属性）的保护问题。也就是说，可从算法决策结果的角度进行反推，进而判断受保护群体某些属性是否被保护。例如，“如果能从某人被银行拒绝贷款的事实中推断出其更可能生活在某个社区，那么该算法决策结果则是基于申请者客观信用风险之外的因素所作出的”，[21]因而也就未能有效保护个体的可识别信息。

　　三、算法歧视伦理问题的解决进路

　　当前，学者主要从以下三个方向探究解决算法歧视，实现算法公平的可能性。

　　1. 技术进路

　　目前，技术路径主要集中在算法的专业技术人员对防止算法歧视与实现算法公平的技术研发，主要包括“事前”与“事后”两个方面。“事前”主要是从数据预处理与算法设计的角度克服算法歧视，实现算法公平；“事后”主要是对算法运行的事后监督与审计。

　　就技术进路中的“事前”而言，首先是对数据进行预处理。如前所述，输入数据与训练数据是算法歧视产生的原因之一。因而针对这些数据，技术人员采取多种措施以有效地确保输入数据与算法训练数据满足公平属性。例如，基于预测置信度、抽样与权重调整而改变分类标签，扰乱训练数据集合等都可以有效地控制算法训练数据的失真；（[3]，pp.38-40）同时，还可以直接修改输入数据、正则化、公平的数据集表示等方法，以使输入数据满足非歧视与公平的要求。（[21]，pp.687-690）其次，还可从算法设计的角度防止算法歧视，这被视为“算法的平权行动”。“算法平权承认算法决策在机会均等方面存在不足，并采取多种措施弥补这些缺陷。换言之，算法平权行动的重点在于正视算法歧视的存在，并认识到即使表面中立的算法也可能产生歧视，进而在此基础上对其进行纠正。”[22]之于算法设计而言，算法平权行动则是要在算法设计中考虑种族、性别等敏感属性，尤其是在算法的分类设计中考虑而非刻意规避这些属性，以确保结果的非歧视与公平性。

　　以上对数据的预处理与算法的公平设计旨在确保算法决策过程按预期进行，却并不能确保算法结果始终避免不公正的歧视，一旦算法做出决策还需要进行事后的监督与审计。这就涉及到技术人员对算法审计工具的开发与设计。克里斯蒂安·桑维（Christian Sandvig）提出了五种理想的算法审计设计，分别是：“代码审计、非侵入式用户审计（Noninvasive User Audit）、抓取式审计（scraping audit）、马甲审计（sock puppet audit）、协作式审计。其中代码设计以算法透明为前提，在此基础上研究人员对所披露的算法进行审计；非侵入式用户审计是在用户同意的情况下获取用户在某算法中的搜索查询和结果，进而从中推断出算法如何进行操作；抓取式审计是研究人员通过反复向一个平台发出某个请求等方式干预算法及其平台，并观察查询结果；马甲式审计中研究人员会用计算机程序模拟用户，进而通过创建虚假用户来观察算法；协作式审计则是招募足够多的测试人员，进而通过他们观察算法。”[23]

　　2. 哲学进路

　　哲学进路通常是为某种“公平”理论的合理性、局限性及其实现的可能性进行论证。该进路的必要性在于，如果仅从上述技术进路解决算法歧视，可能会产生一种风险：“仅仅关注源自法律规定的、缺乏情境与背景、静态的受保护类别，而不思考为什么要保护他们，以及他们与相关算法中某种公平的关系。而对歧视与公平的哲学思考却能让我们反思这些根本问题”。[24]也正是在此意义上，学者梭伦·巴罗卡斯与安德鲁·塞尔斯特（Andrew D.Selbst）认为，对于算法歧视这一问题，“需要的不仅仅是消除偏见和偏差，更要对‘歧视’和‘公平’的含义进行大规模的重新审视”。[25]

　　如前所述，算法应当遵循何种公平理论，是一个颇有争议的问题。比如，政治哲学中的程序公平强调过程符合公平与公正的原则，而分配公平则强调分配结果的正当性，这两种理论在某种程度上是相互对立的。在算法伦理中，程序公平与分配公平都有各自的支持者。事实上，前面所提到的个体公平、群体公平、机会公平等都是结果公平的具体示例。它们皆从算法决策结果的角度来界定、衡量与理解算法公平。但它们立足于不同的公平理论，如群体公平遵循平等主义的分配正义概念，旨在实现人口统计学意义上的平等；个体公平遵循个人主义的平均主义这一形式上的正义原则，旨在实现相似个体获得相似的输出；机会均等立足于罗尔斯的“机会平等”；资源平等则立足于德沃金等运气平等主义者的机会平等理论，即“拉平社会境况和自然禀赋的机会平等”。[26]

　　与结果公平不同，学者穆罕默德·比拉尔·扎法尔（Muhammad Bilal Zafar）等人认为，算法决策分配结果公平的研究忽略了决策过程的公平性。“算法决策过程的公平性指的是在决策过程中使用了哪些输入特性、包含或排除这些特性会对结果产生何种影响，并评估人类对使用这些特性的道德判断。具体而言，程序公平体现在四个方面：算法特征选择的自主性，即算法所使用的输入特征是否是个体自主选择的结果；特征可信度，即如何可靠地评估一个特征；特征与隐私的关联，即使用某特征是否会侵犯个人隐私；特征的相关性，即某个特征与决策结果是否存在因果联系。在此基础上，他们引入了程序公平的三个度量标准：特征—先验的公平（feature-apriori fairness）、特征—准确性的公平（feature-accuracy fairness）与特征—差异的公平（feature-disparity fairness）。”[27]换言之，只要满足上述衡量程序公平的三个度量标准，算法决策就可被视为是公平的。当然，满足算法决策的程序公平可能会带来结果公平，但它仅是程序公平的副产品，且并不意味着二者之间存在必然的普遍联系。

　　3. 法治进路

　　法治进路主要探讨的是如何应对算法的挑战进而依法规制算法歧视。在算法歧视的语境下，主要挑战之一是如何从法律上确定算法歧视的标准，“是采传统的差别影响标准？还是建立一套新的借助算法、结合个体特点的个性化‘歧视识别标准’？”[28]梭伦·巴罗卡斯认为，美国现行法律中的差别性影响原则比差别性待遇原则更适合应对大数据时代的算法歧视与算法公平。“差别性待遇指的是故意歧视或直接在相似处境中有区别地对待受保护群体与少数群体。该原则以是否存在明确的歧视意图为标准，进而判定算法是否存在歧视行为。但其有效性仅限于理性种族主义和掩蔽，即当算法明确使用受保护群体成员的数据作为算法模型的输入或依据其进行分类时，该算法行为可判定为歧视，无论其最终是否会产生歧视性影响；在掩蔽这种隐性歧视中，虽然算法使用者利用算法运行中的数据选择、特征选取等环节掩饰其歧视意图，却不能忽视其存在明确的歧视意图，因而依然适用于差别性对待原则。在没有歧视意图的情况下，差别性影响原则更适合于算法歧视。该原则主要面向结果，即表面中立的算法决策本身是否会对受保护群体与少数群体造成不成比例的负面影响。”（[25]，pp.677-694)

　　对此，在法律上规制数据源及透明性等算法相关内容可以有效地防止算法歧视。“法律首先要做的就是规定更加小心和负责地收集、使用、共享可能导致歧视的任何敏感数据。可这显然不够。从大数据的相关性原理出发，只是将敏感数据简单排除并不能保证它们不被考虑。所以，要识别和应对数据应用中的歧视和偏见，‘数据透明’就不可或缺。换言之，它要求在数据生产和处理日趋复杂的形势下，增强个人的知情权，从而修复信息的对称性。”[29]欧盟《一般数据保护条例》正是对数据源与算法的规制，在保证数据源正当合法的同时确保算法的公开、透明与可解释。例如，明确将7种个人数据视为敏感数据；规定处理个人数据的法律基础是自主同意，且针对特定目的、在知情情况下获得数据主体明确地指示；还应当对透明性、可解释性等进行说明。

　　必须指出的是，上述三种路径的划分是相对的，而它们相互之间也可以交叉、协调合作。显然，在算法公平的理论研究与实验实践过程中需要各种进路并行，已有的一些研究已经体现出了这一特点。

　　四、结语

　　国外算法歧视的研究对于中国学者认知算法歧视及其可能的解决路径也具有启发性。相比较而言，算法歧视与算法公平的研究在国外计算机与人文社会科学领域已广泛开展并占据重要地位，而在中国则相对薄弱。

　　一是在政策与法规层面对算法歧视与算法公平的忽视。目前，我国仅停留在倡导“算法也应具备良好的价值伦理”层面，而未将其上升到政策法规的硬性要求层面。对此，有学者建议应将“无差别不歧视纳入对算法的法律规制之中，此外，还可通过立法提升算法的透明度，以提升公众的知情权和自主选择权。”[30]

　　二是在行业与技术层面，我国对算法公平的研究还需加强。以谷歌为代表的互联网行业提出了在机器学习中实现“机会平等”，且对算法公平技术定义的研究也逐渐与人文社会科学相结合，探索不同情境下更恰当的算法公平。而我国在这方面的研究则相对薄弱。

　　三是科技人员伦理意识的培养。相比较于技术研究，科技人员的伦理意识的培养则更为重要。国外已有许多大学开设了针对计算机、人工智能等专业人员的相关课程。如哈佛大学与麻省理工学院共同开设了人工智能的伦理道德与管理规范的新课程，主要包括算法风险的评分、如何保证数据无偏倚、是否应当用机器来评判人等问题。因而，借鉴国外相关课程，提升科技人员的伦理意识，促使科技人员在算法设计、应用中自觉遵守伦理规则，以实现自律和他律的结合。

　　参考文献

　　[1] Hill, R. K.'What an Algorithm Is'[J]. Philosophy&Technology, 2016, 29(1):35-59.
　　[2] Mittelstadt, B. D., Allo, P., Taddeo, M., et al.'The Ethics of Algorithms:Mapping the Debate'[J]. Social Science Electronic Publishing, 2016, 3(2):1-21.
　　[3]Romei, A., Ruggieri, S.'A Multidisciplinary Survey on Discrimination Analysis'[J]. The Knowledge Engineering Review, 2014, 29(5):1-54.
　　[4] Lepri, B., Oliver, N., Letouzé, E., et al.'Fair, Transparent,and Accountable Algorithmic Decision-making Processes'[J]. Philosophy&Technology, 2018, 31(4):1-17.
　　[5] Zarsky, T. Z.'Understanding Discrimination in The Scored Society'[J]. Washington Law Review, 2014, 89(4):1375-1412.
　　[6]丁晓东.探寻反歧视与平等保护的法律标准从“差别性影响标准”切入[J].中外法学, 2014, 26(4):1080-1096.
　　[7]丁晓东.重新理解年龄区分:以法律手段应对年龄歧视的误区[J].法学家, 2016,(4):102-111.
　　[8]黄柏恒.大数据时代下新的“个人决定”与“知情同意”[J].哲学分析, 2017, 8(6):101-111.
　　[9]Vries, K. D.'Identity, Profiling Algorithms and a World of Ambient Intelligence'[J]. Ethics&Information Technology, 2010, 12(1):71-85.
　　[10] Calders, T.,?liobait?, I.'Why Unbiased Computational Processes Can Lead to Discriminative Decision Procedures'[A], Custers, B., Calders, T., Schermer,B., Zarsky, T.(Eds)Discrimination and Privacy in the Information Society[C], Berlin, Heidelberg:Springer,2013, 43-57.
　　[11] Dwork, C., Hardt, M., Pitassi, T., et al.'Fairness Through Awareness'[A], Shafi, G.(Ed.)ITCS'12 Proceedings of the 3rd Innovations in Theoretical Computer Science Conference[C], New York:ACM, 2012, 214-226.
　　[12] Joseph, M., Kearns, M., Morgenstern, J., et al.'Rawlsian Fairness for Machine Learning'[EB/OL]. http://pdfs.semanticscholar.org/2d55/ff4542eaae18dcd10c2cd74199396e260402.pdf.2019-01-21.
　　[13] Friedler, S. A., Scheidegger, C., Venkatasubramanian, S.'On the(Im)possibility of Fairness'[EB/OL]. https://arxiv.org/pdf/1609.07236.pdf. 2019-01-21.
　　[14] Skirpan, M., Gorelick, M.'The Authority of “Fair”in Machine Learning'[EB/OL]. https://arxiv.org/pdf/1706.09976.pdf. 2019-01-21.
　　[15] Gillespie, T.'The Relevance of Algorithms'[A],Gillespie, T., Boczkowski, P. J., Foot, K. A.(Eds)Media Technologies:Essays on Communication, Materiality, and Society[C], Cambridge, Massachusetts:The MIT Press,2014, 167-194.
　　[16] Balkin, J. M.'The Three Laws of Robotics in the Age of Big Data'[EB/OL]. Yale Law School Faculty Scholarship Series, https://digitalcommons.law.yale.edu/fss_papers.2019-07-28.
　　[17] Barocas, S.'Data Mining and the Discourse on Discrimination'[EB/OL]. Conference on Knowledge Discovery and Data Mining, https://pdfs.semanticscholar.org/abbb/235fcf3b163afd74e1967f7d3784252b44fa.pdf.
　　[18]石智雷、吴志明.早年不幸对健康不平等的长远影响:生命历程与双重累积劣势[J].社会学研究, 2018, 33(3):166-192.
　　[19]Gandy, O. H.'Engaging Rational Discrimination:Exploring Reasons for Placing Regulatory Constraints on Decision Support Systems'[J]. Ethics&Information Technology, 2010, 12(1):29-42.
　　[20] Edwards, L., Veale, M.'Slave to the Algorithm? Why a Right to Explanationn is Probably Not the Remedy You are Looking for'[J]. Duke Law and Technology Review,2017, 16(1):18-84.
　　[21] Kroll, J. A., Huey, J., Barocas, S., et al.'Accountable Algorithms'[J]. University of Pennsylvania Law Review,2017, 165:633-705.
　　[22] Chander, A.'The Racist Algorithm?'[J]. Michigan Law Review, 2017, 115(6):1023-1045.
　　[23] Sandvig, C., Hamilton, K., Karahalios, K., et al.'Auditing Algorithms:Research Methods for Detecting Discrimination on Internet Platforms'[A], Data and Discrimination:Converting Critical Concerns into Productive Inquiry, A preconference at the 64th Annual Meeting of the International Communication Association[C], Seattle, WA, USA, 2014, 1-23.
　　[24] Binns, R.'What Can Political Philosophy Teach Us about Algorithmic Fairness?'[J]. IEEE Security&Privacy,2018, 16(3):73-80.
　　[25] Barocas, S., Selbst, A. D.'Big Data's Disparate Impact'[J].California Law Review, 2016, 104(3):671-732.
　　[26] Gajane, P.'On Formalizing Fairness in Prediction with Machine Learning'[EB/OL]. Cornell University, https://arxiv.org/abs/1710.03184.2019-07-28.
　　[27] Grgi?-Hla?a, N., Zafar, M. B., Gummadi, K. P., et al.'Beyond Distributive Fairness in Algorithmic Decision Making:Feature Selection for Procedurally Fair Learning'[A], Thirty-Second AAAI Conference on Artificial Intelligence[C], New Orleans, Louisiana, USA,2018, 3-10.
　　[28] 周巡.算法歧视与算法公平[OL].网易订阅,http://3g.163.com/dy/article/DL2LFKIU0516C2P4.html.
　　[29]许可.人工智能的算法黑箱与数据正义[N].社会科学报, 2018-03-29.
　　[30]倪戈.网络时代，应如何规范“算法”[N].人民日报,2018-07-04.