文档介绍：该【算法歧视的法律规制 】是由【迎春文档】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【算法歧视的法律规制 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第30卷总第146期广东开放大学学报2021年第2期
,2021
算法歧视的法律规制
周先伟
(东华理工大学,江西南昌,330000)
【摘要】算法应用于各行各业,为人类带来便利的同时歧视性风险也在悄然而生。显性算法歧视尚可发觉,隐性
算法歧视则难以发现。酒店“同房不同价”、购物平台“大数据杀熟”诸类事件产生诸多不良影响,表现为损害公众
合法权益,激化社会矛盾;损害经营者合法利益,加速市场垄断;侵害消费者隐私权等。以保护公众平等权为原则,将
《反垄断法》主体范围适当拓宽,对算法源数据实行安全监管,建立平台算法审核机制,赋予数据主体算法解释权,
增加算法对公众公开透明度,以期在互联网时代减少算法歧视引发的消极影响。
【关键词】算法歧视;算法审查;算法解释权;法律规制
【中图分类号】TP18;【文献标识码】A【文章编号】2095-932X(2021)02-0034-05
更高价格待遇[1];事例3中,“算法筛选系统”在
一、算法歧视现状无形之中对女性产生歧视。分析可知,造成该结
果的原因在于程序设计员输入的原始数据存在片
(一)事例导入
面性,缺少足够数量的女性求职者简历。
,刘某在某机场通过网约车平台预
三事例显然违背了企业经营应遵循的公平
约“普通型车辆”,实际来的却是七座商务车。
诚信原则,同时也违背了正当程序要求。举例言
尽管网约车平台特殊时期实行“调换车型,费用
之,当下线上购物狂潮火热,愈来愈多人选择线
不变”举措,但实际却按商务车型收费。
上购物,消费者在特定网站平台购物,网站显示
的商品价格比同一平台其他用户查询的价格高,
店。廖某用自己和朋友的账户在相同条件下查询
此种行为即违背正当程序的要求;专门用来预测
的房价居然相差50元。酒店平台回复称可能是手
罪犯在未来再次犯罪的概率和对社会危险性程度
机后台缓存的问题。
的算法人工智能程序,对不同肤色测试
,亚马逊公司上线了一款名为“算COMPAS
法筛选系统”的程序,设计人员发现该算法程序者给出的结论各异,由此,可以认为无论此预测
识别出“女性”或“女生”相关词汇的时候,会结果是否对测试者有利,皆表明该算法程序违反
[2]
给该份简历相对较低的分数。正当程序之要求。
(二)问题归纳二、算法歧视表现及影响
上述事例共同点体现为当事人受到算法不平
等的对待。事例1中,网约车针对同一客户给出不结合国内相关学者研究,算法歧视本质是大
同价格,尽管网约车平台给出“服务升级,费用数据悖论,是互联网时代算法程序对数据收集、
不变”的解释,但实际仍按升级后的车型计费;分析、整合、输出过程中产生的同现实世界表现
事例2中,不同用户查询的客房价格不同,按常一致的歧视,形式为性别歧视、年龄歧视、种族
理,回头客都会有相应的优惠待遇,然而廖某不歧视、政治歧视、弱势群体歧视、价格歧视[3]等。
仅没有享受到优惠反而因为“特殊身份”收到了价格歧视是经济学中的术语,指商品或服务的提
【基金项目】2020年度江西省研究生创新专项资金项目立项项目(YC2020-S507)。
【收稿日期】2021-03-12
【作者简介】周先伟(1994-),男,山东诸城人,硕士研究生,东华理工大学文法学院。
万方数据
政治·法律周先伟:算法歧视的法律规制35
供者在向不同的消费者提供相同级别、相同性能息不对称在大数据时代愈演愈烈,处于弱势一环
和质量的产品或服务时,所对应的价格或者制定的消费者最易受到不平等对待,%的受访者希
的收费标准存在差异。望价格主管部门尽快出台相关规定以此规范互联
(一)大数据杀熟网企业歧视性定价行为[7]。
算法歧视已渗入到社会生活方方面面,购线下购物环节明码标价,故难成差异化定价
物、租房、出行等领域都有其身影。主要表现为之格局,然互联时代到来,使商家差异化定价变
隐性歧视和显性歧视,显性歧视极易被察觉。例为可能。2018年,人民日报发表评论称“杀熟”
如,公司招聘员工时设置身高、性别、年龄等敏是“店大欺客”的表现,不利平台发展也损害消
感选项,由于劳动法等法律明确禁止歧视,故此费者利益。古人做生意讲以诚相待,诚信经营,
类歧视较少存在。狭义上的算法歧视指隐性歧对新用户和老客户提供的价格应相同,即使存在
视,现阶段大有不断扩张之势。于现实世界,基差异也应明示,且皆应尽可能提供优质服务。买
于不同生活经历、认知能力、教育背景,对同一卖双方往往经多次交易才建立互相了解、彼此信
事物形成的印象存在差异,仅依据上述特征形成赖关系,本应更加悉心维护[8]。但大数据“杀熟”
的看法存有片面性。此类似“刻板印象理论”,的到来,颠覆了普通人的常识,此模式下越熟悉
即人们对某个事物或物体形成一种概括固定的看的客户越要付出更高的代价。商家借助算法实施
法,并把这种看法推而广之,认为该事物或者整差异化定价显然是利用顾客的信任度来追求短期
体都具有该特征,从而忽视个体差异。换言之,的超额利润。
任何人在任何地点针对同一事物都有可能产生片(二)算法歧视影响
面性的看法,这点是不可避免的[4]。隐性歧视通常人民日报称算法歧视本质为隐藏型差别化
体现为大数据杀熟。即商家运用算法程序,对平定价,即“大数据杀熟”归根结底是一种“店大
台内消费者浏览、购物记录进行汇总分析,产生欺客”行为。企业商家通常经济实力雄厚,具有
囊括消费者个人偏好、购物****惯、消费水平的画一定业内影响力,依仗自身在行业中所占主导地
像,再经由差异化定价测试,最终得到消费者最位,自认为拥有客户的信任度,实施隐藏的差别
大支付意愿信息,进而针对不同人设计不同价[5]。化定价,如此导致客户获得有瑕疵的服务。与线
,线上“杀熟”行为更具
2000年,一位亚马逊用户反映,自己在亚马隐秘性、维权之路更艰难。随着互联网发展,引
逊购物平台浏览一款产品之后,将其删除,再次发线上消费井喷之势,隐藏型差别化定价套路给
浏览该产品却发现曾经浏览过的DVD商品销售价消费者带来的消极影响逐渐加深。有学者言,差
。对别化定价,实为老客替新客的差价买单。长此以
此不少用户反映自己也曾遭遇过亚马逊平台这种往,差别化定价不仅损害老顾客,更断送了企业
区别定价行为。一经报道,一时间亚马逊平台成长久发展之资源。这种杀敌八百,自损一千行为
为众矢之的,此事发生后不久,亚马逊CEO贝索实则愚昧至极。
斯针对此事公开道歉,
差别定价实验,并非专门针对某一用户,也绝不算法歧视对消费者的公平交易权和隐私权
存在窃取用户数据信息行为,这仅仅是测试[6]。亚造成不利影响。差异化定价导致消费者在购买商
马逊的这一行为无疑是利用搜集来的用户数据,品时不能得到与他人相同价格的待遇,是对消费
使价格歧视成为了可能。者公平交易权的损害;算法平台将收集到的用户
,借此给用户推送特定广
2018年,中国青年报社社会调查中心联合告,损害用户隐私权。与诚实、守信、公平等原
问卷网对2008名受访者进行的一项调查显示,有则背离的算法歧视通过自身发展进化,逐渐发展
%的受访者明确表示自己遇到过互联网企业利为一种与现代社会相隔离的“黑箱社会”。凯
用“大数据杀熟”的情况,%的受访者指出信茜·奥尼尔在《数学毁灭武器:大数据增加不平
万方数据
36广东开放大学学报(第30卷总第146期)2021年第2期
等和威胁民主》中强调,我们逐渐依赖的算法已利润为目的,借助早已过时数据来提高自身搜索
被证明具有不透明、可扩展且不公平的特性,如引擎能力的行为侵害了原告隐私权,给原告造成
不加规制,可能会给我们造成更大的毁坏,算法了歧视性影响,其行为违法。故此判决谷歌公司
歧视会加深民众对黑人的歧视、强化种族歧视和删除搜索结果列表中的链接[12]。赋予算法“可解
加剧人与人之间的不平等。公共领域算法判断某释性”,加州伯克利大学研究人员针对算法歧视
人是否具有危险性,可能恰巧与恐怖分子同名,便性问题提出,在设计A算法程序时加入B算法作为
被算法系统标记为疑似恐怖分子而受到警方询问对前者的监测记录算法。
查验,此事例在美国已经发生多起[9]。(二)德国:数据采集行为双重规制
《德国联邦数
PageRank算法是运行在Google的网页排序算据保护法》(BDSG),该法规定,对公共领域
法。PageRank将每个目标网页进行附权值,网和私人机构数据采集行为进行统一规制,公共领
页越靠前表明该网页权重越大,网页越靠后则权域和私人机构按要求必须对个人数据尽到谨慎保
重越小。另言之:谁被引用的次数多,谁就越护义务,法定机构和人员负责对保护工作跟踪监
重要。GoogleShopping服务业务进入欧洲市场初督,以减少数据滥用行为,实现个人数据保护工
期,Google公司为增强该业务竞争力,将Google作全面覆盖为目的。
Shopping所含商品排除在PageRank算法等网页排(三)欧盟:禁存“算法偏见”
序算法审查范围之外,并将上述商品信息置顶于《通用数据保护条例》(GeneralData
搜索页面。欧盟竞争和反垄断事务调查人员经过ProtectionRegulation,简称GDPR)在前言中对
调查表明,Google滥用了它在搜索引擎方面的市profiling系统中的算法偏见进行定义,并在其后规
场主导优势——在欧洲,Google的市场占有率超定一系列用于减少甚至消除算法偏见的方法。为
过90%。自从GoogleShopping在搜索结果中的显示保证在处理数据过程中始终保持公平和透明,特
位置被突出之后,其他比价服务网站(例如英国定情况下数据掌握者应尽量避免人为因素干预,
的Foundem)流量应声下降。Google公司这种以算应借助计算或统计程序,采用组织化与技术化相
法为工具,限制其他经营者的正常经营行为,是结合的方法,一定程度上将个人数据中的不确定
不正当的[10]。经营者运用算法技术限制其他经营性和风险影响性减少到最低水平;数据主体的利
者正常经营的行为,损害了正常经营者的合法利益和权利是否遭受潜在风险、数据主体的个人基
益,破坏了市场秩序。因或健康等敏感数据同样需要严格保护。此外,
GDPR为数据拥有者设置一项义务:对数据保护风
三、域外规制现状险进行识别和最大程度减少,即“数据保护影响
(一)美国:司法审查算法与赋予算法“可评估”(DataProtectionImpactAssessments,DPIA)。
解释性”
四、法律规制建议
1973年,联邦最高法院审理了一件算法歧
视案。原告诉称麦克唐纳道格拉斯公司在雇佣算为更好地贯彻落实《中华人民共和国网络安
法中刻意设置种族、肤色、宗教、性别或国籍等全法》规定的个人信息收集、使用的“合法、正
因素限制应聘者就业权。法院经过审理查明,麦当、必要”基本原则,2020年10月1日实施的《信
克唐纳道格拉斯公司雇佣算法程序确实存在限制息安全技术个人信息安全规范》,对APP安全认证
应聘者平等就业权行为,故判决公司行为构成歧问题作出规定。该规范旨在解决公众反映强烈的
视[11]。2010年“冈萨雷斯诉谷歌”案中,法院通APP“任意索权、关联授权、任意收集信息”等问
过对“95年《指令》的适用范围、95年《指令》题。同时,对现阶段各类APP在运行期间存在的不
的适用地域、搜索引擎的经营管理者在95年《指合理现象,例如,未对用户尽合理告知义务、APP
令》下的责任范围、95年《指令》确认的数据主账户注销困难、任意索要用户照片、个性化信息
体的权利范围”综合审查后认为谷歌公司以获取推送难关闭、第三方未经授权随意接入等问题,
万方数据
政治·法律周先伟:算法歧视的法律规制37
制定了一系列规制举措,指导APP设计、运行标人员配比最大程度保证其公平合理性:政府人员
准,进一步完善个人信息保护体系。的参与可保证其权威性,算法技术人员的参与可
(一)拓宽《反垄断法》主体范围解决技术问题,高校老师的参与有利于向学生普
部分学者认为,国内算法歧视行为的立法技及算法相关知识,普通人员的参与可在一定程度
术尚未成熟,为避免立法失误,现阶段不适合贸落实公民参与权。“算法审查委员会”要求企业
然立法。一项法律从孕育至诞生,离不开与现实定期对平台算法开展复查,并将复查报告对外界
社会的结合,算法歧视虽产生消极影响,然现阶公布(涉及机密的算法应做技术处理),以复查
段遵循底线思维,结合当前社会实际,修正完善报告作为企业是否存在算法歧视的重要审核依据
现有法律,使其对算法歧视更具针对性,对其实之一,针对复查结果中可能存在不当使用算法的
行可“保守规制”更符合实际。通过对大量实例企业,“算法审查委员会”有权将其公示在国家
分析可知,算法歧视实施主体有时并不具有市场企业信用信息系统;对于确定存在运用算法扰乱
支配地位。根据《反垄断法》第六条之规定,构市场秩序的企业,市场监管部门可依据《反垄断
成不正当竞争之主体必须具备以下特征:具有市法》《消费者权益保护法》或其他既有法律法规
场支配地位。依据该条规定,不具市场支配地位作出处罚[14]。
的经营者主体所实施的行为不构成不正当竞争。(四)算法解释权
然而,算法歧视本质上即为经营者依托算法程序赋予数据主体算法解释权。即数据主体认为
建立优势地位,滥用算法技术和消费者数据,实平台算法输出之结论偏离自己预期且该结论与自
施侵害消费者合法利益、损害其他经营者利益及己合法权益关系密切时,有权要求平台对该算法
扰乱正常社会秩序的行为。借助该种不正当竞争工作原理(相关数据分析处理过程)解释。杜宴
行为,经营者获取了超额利润。因此,应当适当林教授认为,设置算法解释权一方面赋予数据主
拓宽《反垄断法》中“支配市场地位的经营者”体在算法程序得出的结论与自我预期差异过大时
范围,认定“经营者滥用算法技术实施差异化定有知悉真相之权利;另一方面,当平台算法存在
价,导致消费者和其他经营者合法权益受损失的设计不合理、源数据表现偏差,数据主体有要求
行为”同样构成不正当竞争。救济的依据。于此需要说明的是,算法解释权并
(二)对算法源数据实行安全监管非意味将平台算法所有运算代码公开,这既违反
首先,对算法源数据作恰当分类。将算法《反不正当竞争法》等相关法律规定同样也违背
源数据分隐私数据和普通数据。细言之,针对隐公平性,多数算法运算代码涉及商业机密,数据
私数据(姓名、住址、联系方式等)应尽特别谨主体完全知悉算法的运算原理及过程缺乏现实操
慎之义务限制使用:禁止商家将消费者隐私数据作可能性。另言之,算法解释权最终目的乃通过
储存流转;就普通数据则只需尽一般注意义务即有针对性的开放以可被理解的方式提升平台算法
可。如此规定可在一定程度减少平台“大数据杀的透明度,在保证合法公正前提下不干扰企业正
熟”行为,又可以最大程度提高源数据的利用常运行[15]。赋予数据主体算法解释权能够明确平
率。其次,应完善源数据分析技术,该技术应由台管理者算法解释义务,增强算法透明性,维护
政府掌握并行使,针对平台“大数据杀熟”,源数据主体知情权,增强算法可责性。
数据分析技术对消费者的消费行为作出整合后,
五、结语
及时将可能产生杀熟之预测反馈给消费者,目的
是最大程度避免消费者受到算法歧视的损害[13]。算法歧视涉及到个性化定价,杀熟是通俗表
(三)建立平台算法审核机制述,针对算法歧视问题需要根据我国现阶段国情
由政府人员、算法技术员、高校老师和普来解决。“大数据杀熟”本身是一个中性词,并
通人员组建“算法审查委员会”,定期或不定期没有好坏之分。运用大数据杀熟实施不正当竞争
对平台算法运行情况进行审查监督,减少企业利和损害消费者利益的行为,有规制之必要性和急
用算法实施算法歧视行为。“算法审查委员会”迫性。算法歧视是否形成竞争损害可从消费者福
万方数据
38广东开放大学学报(第30卷总第146期)2021年第2期
利和社会总福利两方面分析。消费者福利标准以[4]“算法公开”能否解决“算法歧
保护消费者利益为原则,认为差异化定价行为比视”?[J].机器人产业,2019,(3):17-22.
[5]杨成越,[J].科学与社
统一定价更加损害消费者利益,即消费者无任何义
会,2018,8(04):1-12+64.
务为高低价“买单”;整体福利标准以提高社会[6]:现状、挑战与
总体福利为原则,允许经营者运用差异化定价方革新[J].广州大学学报(社会科学版),2019,18(02):101-
式最大程度吸引消费者,借此补偿经营者因低价销108.
[7].[J].
售环节之损失。故此应以消费者福利标准作为违崔靖梓算法歧视挑战下平等权保护的危机与应对法
律科学(西北政法大学学报),2019,37(03):29-42.
法审查标准基础,防止算法歧视行为野蛮生长。
[8]叶明,
《反垄断法》《消费者权益保护法》《民法典》制[J].价格月刊,2020,(3):33-40.
等不同部门法应相互协调,尤其要发挥《反垄断[9]
法》在杀熟行为中的特别作用。针对消费者群[J].山东科技大学学报(社会科学版),2019,21(04):33-
40,58.
体,市场监管机构要及时通过监管规则向市场释
[10][J].法学杂
放信号,通过进一步提升算法透明度来解决算法志,2019,40(06):55-66.
歧视引起的问题。算法歧视规制体系的完善不仅[11]郑智航,
有助于人工智能的良性发展,人工智能辅助下的法审查——以美国法律实践为例[J].比较法研究,2019,
(4):111-122.
科技发展对我国建设现代化的科技强国也大有裨
[12][J].清华法学,2019,13(01):64-75.
益。[13]“杀熟”现象及规制策略[J].现
代商业,2019,(22):11-12.
【参考文献】[14]赵双阁,“量化转型”:算法推荐对媒介
[1]刘培,[J].东北大伦理的挑战与应对[J].当代传播,2018,(4):52-56.
学学报(社会科学版),2019,21(2):118-125.[15]姜野,:算法解释权的功能证成与
[2]:言论、商业秘密还是正当程适用路径——以社会信用体系建设为场景[J].福建师范
序?[J].比较法研究,2020,(2):120-(哲学社会科学版),2019,(4):84-92,102,171-
[3]汪怀君,[J].科学技172.
术哲学研究,2020,37(2):101-106.(责任编辑:楚和)
OntheLegalRegulationofAlgorithmicDiscrimination
ZHOUXian-wei
(EastChinaUniversityofTechnology,Nanchang,Jiangxi,China,330000)
Abstract:Algorithmsareusedinallwalksoflife,bringingconveniencetothemankindandsecretivediscriminatoryrisks
,implicitalgorithmicdiscriminationisdi■
suchashotel"sameroomsatdifferentprices"andshoppingplatforms’"bigdatainoverchargingregularcustomers"have
producedmanyadverseeffects,harmingthelegitimaterightsandinterestsofthepublicandintensifyingsocialconflicts,harming
thelegitimateinterestsofoperatorsandacceleratingmarketmonopolyandinfringingonconsumerprivacyrights,
theprincipleofprotectingthepublic’sequalrights,actionsmustbetakentoappropriatelybroadenthescopeofthe“Anti-Monopoly
Law”,toimplementsecuritysupervisiononalgorithmsourcedata,establishaplatformalgorithmreviewmechanism,andtogrant
datasubjectstherighttointerpretthealgorithmandincreasethetransparencyofthealgorithmtothepublic,aimingtoreducethe
negativeimpactofalgorithmicdiscriminationintheInternetage.
Keywords:algorithmdiscrimination;algorithmreview;algorithminterpretationpower;legalregulation
万方数据