浅谈机器学习公平性.docx

《浅谈机器学习公平性.docx》由会员分享，可在线阅读，更多相关《浅谈机器学习公平性.docx（9页珍藏版）》请在第一文库网上搜索。

1、当前，机器学习在多个领域中发挥着越来越重要的作用，在金融、司法、医疗等公共领域，应用机器学习的结论进行辅助乃至自动化决策已非个例。科技的迅猛发展在给人类带来极大便利的同时，也带来了新的风险，甚至会引发前所未有的伦理挑战，如美国的犯罪预测系统COMPAS存在歧视黑人的现象(预测结果对黑人的误报率高于白人)、亚马逊A1简历筛选系统存在歧视女性的现象、meta广告推荐算法涉嫌违反美国公平住宅法案(FairHousingAct,FHA)o在我国，算法伦理问题已经引起国家层面的关注。2023年3月，中共中央办公厅、国务院办公厅印发了关于加强科技伦理治理的意见，将人工智能作为科技伦理治理的重点领域之一。这

2、是我国首个国家层面的科技伦理治理指导性文件，算法公平性也随之成为业界重点关注的问题。本文将从多个角度阐述机器学习公平性的研究进展：介绍公平性的度量指标，分析可能引起模型不公平的根源，梳理提升机器学习公平性建模中的关键措施，以期为读者在加深对机器学习公平性伦理问题的认知，避免应用机器学习算法时引起不公平的道德伦理问题等方面提供参考。一、机学习公平性的概述及公平性度量指标机器学习公平性是机器学习领域的一个新兴分支，主要研究如何通过解决或缓解“不公平”来增加模型的公平性，以及如何确保模型的输出结果能够让不同的群体、个人都有平等的机会获得利益。然而，受文化和环境的影响，人们对公平性的理解存在一定的主观

3、性。到目前为止，公平性尚未有统一的定义及度量指标。总的来说，公平性主要分为群体公平性和个体公平性两类：群体公平性指标侧重于衡量决策（模型结果）对不同群体的偏见程度；个体公平性指标主要侧重于衡量决策对不同个体的偏见程度。本文将以二分类为例对公平性常用的定义及度量指标（如图1所示）进行介绍。群体性公平I优点：计算简单且不依赖于任何假设群体均帘不平等影响缺点：当群体的百实标签分布不均时，准确的模型会被认为是不公平的补偿几率优点：同时考虑了其阳率和假阳奉，且准确的校型也能较为公平缺点：依1于祥本要有足够代表性且不包含人为偏见的假设机会均等优点：准确的根型也能较为公平“缺点：依猿于样本要有足够的代表性且

4、不包含人为偏见的假设优点：计算时考虑了除敏感信息之外的属性信息一个体公平缺点：个体相似性比较难度量一优点：具荷因果解理性反事实ZX平缺点：需要考虑多个因素的因果干涉,比较复杂模型公平性评价指标个体性公平图1常见的模型公平性指标及特点假设S为敏感信息的特征（如种族、性别、年龄、民族等），“S=1”表示该群体在社会中为“强势群体”，较少受到歧视，“SW1”表示该群体在某些方面为“弱势群体”，存在潜在的受到歧视的风险，如少数族裔、老年人、女性等。Y为模型的真实标签，Y为模型预测的结果，Y=I表示模型预测结果为正面（有利于该样本个体的标签），P表示某条件下的概率。1 .群体公平性指标群体公平性指标本质

5、上是比较算法在两类或多类群体上的分类结果，通常群体是按性别、婚姻状态、种族等敏感属性进行分群，下面对常用的群体公平性指标分别进行介绍。(1)不平等影响(DiSParateImpact,DI)/群体均等(Demographicparity,DP)DI定义为模型对于两个不同的群体预测为正类的概率比值，即：PY=1S1X_2PY=1S=1DP定义为将两个不同群体预测为正类的预测概率差值，即：PY=1S=1-PY=1S1以上指标存在两个弊端：一是如果群体之间标签分布不同，一个完全准确的模型在这两种指标下会被认为是不公平的；二是为了满足这两种公平，两个相似的样本有可能仅仅因为“所属群体”不同而获得不同的

6、预测结果。(2)补偿几率(Equa1izedodds)该指标由两部分组成，即群体之间假阳性概率(fa1se-PoSitiVCrates)之差和群体之间真阳性概率(true-positiverates)之差，差值越小则认为模型越公平，可以表示为：PY=1S=1,Y=0-1Y=1S1,Y=06rPY=1S=1,Y=1-P1Y=1S1,Y=1(3)机会均等(Equa1Opportunity)机会均等定义为不同群体的真阳性概率之差，指标越小代表越公平,可描述为:pV=s=,=i-PV=IIS,Y=ig在指标“补偿几率”和“机会均等”的定义下，完全准确的模型能够表现的较为公平，但指标计算使用到了真实标签

7、Y,所以需要满足“样本足够有代表性并且不包含人为偏见”的假设。2 .个体公平性指标个体公平性是衡量决策对不同个体的偏见程度。(1)个体公平性指标个体公平性指标是指对于两个个体，如果非敏感信息特征相似，则模型应给出相似的预测结果。具体来说，以上二分类问题中不同群体中的两个个体i和j,假设X为非敏感信息，S为敏感信息，d(i,j)为两个个体的相似性，个体公平可以描述为：PY=yIX,S-PY=yXQS，if：(,)O该指标在计算时综合考虑了敏感信息之外的属性信息来计算相似性，然而，对于如何定义个体相似性仍是一个有待解决的难题。(2)反事实公平性指标反事实公平性是指如果一个决策与敏感属性不同的反事实

8、世界中采取的决策一致，那么这个决策对于个体而言是公平的，是一种基于因果推断的公平性定义，但考虑到多个因素的因果干涉，反事实公平性的应用面临着复杂的挑战。二、引起机器学习模型不公平的潜在因素模型不公平性的来源是多种多样的，不同的研究对其分类各不相同。按照机器学习的生命周期可把引起模型不公平的因素归为四类：数据偏差、算法偏差、评估偏差和部署偏差(如图2所示)。图2引起模型不公平的潜在因素数据偏差主要包括收集数据过程中的测量偏差(MeasuringBias)蕴含社会文化和习俗的城建信息渗透到数据中产生的历史偏差(HiStOriCaIBias)以及训练数据没有充分代表所有预测样本空间带来的表示偏差(R

9、ePreSentationBias)0算法偏差主要指算法的优化目标带来的不公平风险，以及与敏感特征相关的“代理”特征带来的不公平风险。算法总是会以减少训练过程中模型的输出和真实标签的总体差异为优化目标，当数据类别不平衡时，模型对多数群体的准确率更高。敏感属性的代理特征是指看似非敏感特征，但实际上与敏感特征相关联，因此算法在学习的过程中利用了敏感特征的信息。评估偏差包括由于算法评测的基准数据不能完全代表目标群体产生的偏见，以及由于评估指标的不当导致选取看似公平而实际并不公平的模型所产生的偏差。部署偏差是指部署应用的场景与训练阶段场景不匹配产生的偏差。机器学习模型在实际应用过程中存在“数据一算法一

10、人机交互”的动态循环，比如排名靠前的搜索结果总是更有机会被浏览点击，如果模型结果有偏见，呈现给用户的内容也是有偏见的，收集到的用户数据（如果把用户点击等同于用于认可度）也是有偏见的，当新的数据用于模型训练时，会得到更加有偏见的模型。三、提升机器学习模型公平性的措施为了便于理解，本文从机器学习建模流程的维度把增加模型公平性的措施分为三类：预处理（数据处理），中间处理（模型训练）和后处理，如图3所示。基于特权信息的学习O公平表征图3提升机器学习模型公平性的措施1预处理提升模型公平性的预处理措施主要包括： 删除特征，即删除可能会引起歧视的敏感信息以及敏感信息相关的特征； 更改数据集的标签，可以先使用

11、原始的数据训练带有不公平性的分类器，使用这个分类器对数据进行分类，在每个群体中根据预测分类的置信度排序，更改置信度过低样本的标签； 更改权重，在训练的过程中，特征和标签会被赋予权重，可以通过调整特征的权重来减少模型的不公平性； 公平表征，在一些深度学习任务中，会先使用模型提取数据的表征，然后将数据的表征输入分类模型，训练分类器。与特征工程不同，提取数据表征一般使用模型自动进行，在这个过程中可以优化算法使得学习出的表征既可以在下游分类器中用于区分不同的标签，同时又与敏感信息不相关，这样的研究称为“公平表征”问题。2 .中间处理中间处理是通过在模型训练过程中修改算法达到模型结果的公平性，建模中的措

12、施主要包括：目标函数加入惩罚项。在机器学习中，正则项是用来惩罚模型的复杂度，降低模型过拟合的风险。有研究认为，参照正则项加入惩罚项用于保证分类模型的公平性，-种做法是将假阳率和假阴率的信息参照正则项的方式加入损失函数中，用来惩罚模型的不公平性。分类模型加入约束，通过在模型优化过程中增加约束的方式平衡公平性和准确性。在分类问题中，通常需要在特征空间中建立一个“决策边界”，根据样本特征向量到这个决策边界之间的有符号距离判定样本的分类标签。如果引入公平性的考量，则公平性可以定义为样本的敏感属性特征与样本特征向量到决策边界的有符号距离的协方差。通过这个协方差的阈值约束分类器损失函数的优化过程，可以选择

13、在保证公平性的情况下最大化分类准确率，也可以选择在保证分类准确率的情况下最大化公平性。基于特权信息的学习。在训练阶段，模型使用敏感信息（作为特权信息）特征加速模型的收敛来提升模型效果，而在预测阶段则不使用敏感信息。3 .后处理后处理是通过对训练后的模型预测数据进行处理以消除模型结果的不公平性，可采取的措施包括:使用不同的阈值修正预测结果。分类模型常使用阈值来调节预测的结果，因此可以根据某些规则对不同的群体设置不同的阈值来消除模型不公平性。对不同的群体使用不同的分类器。在分类模型的训练过程中，损失函数用于惩罚与标签不一致的预测结果。在训练单个分类模型时，如果训练集中的数据不平衡，数量较多的群体上

14、的预测结果会更多的影响损失函数的优化过程，如果对每个群体单独训练一个分类器，将所有群体上分类器的损失函数联合后进行优化，就可以避免由于群体间数据不平衡导致模型忽略弱势群体的特征。以上三种策略各有优缺点。预处理的方法较为简单，可以在大多数分类问题中使用，缺点是会降低模型的可解释性。建模中的处理方式较为灵活，可以根据特定的情况调整，缺点则是较为复杂，并且不同的算法之间难以复用。后处理的方式和预处理一样，也可以适用于大多数分类问题，但是这种方法可能会影响模型效果，而且在人为改动模型输出结果的情况下也有一定的伦理风险。具体应该如何选择这些方法，主要由能够获得多少完全准确没有偏见的标签数据、能使用多少敏

15、感信息以及使用的公平性定义这三者共同决定。四、总结机器学习公平性已经引起了学术界和工业界的广泛关注。虽然公平性建模的研究己取得了一定的进展，但是应用模型公平性在当前仍然存在以下难点：一是权衡公平性和准确率。建模过程加入公平性因素对模型会产生一定的约束，因此加入公平性考量的模型相比于不考虑公平性的模型，在准确率上会有所下降。二是难以同时满足不同的公平性指标。己经有研究表明，对于同一个模型，如果样本中不同群体的特征分布有差异，那么不同的公平性指标难以被同时满足，因此，需要根据场景选择合适的指标对模型的公平性进行评估。由于机器学习公平性尚未有统一的定义及流程，对于如何识别可能引起模型不公平的根源、如何选取公平性评价指标以及该采取何种措施来消除模型不公平性，有赖于机器学习从业者对应用场景的了解认识。希望本文能加强业界对公平性建模的认识和思考，促进科技向善发展。