在收到众多知名客户的投诉后,Apple Card 正在接受调查,因为其算法可能存在对女性的歧视。
Apple Card 推出时2019年8月,其目的是无缝过渡到“更健康的财务生活”。然而,该卡在某些用于信用限额和审批等决策的自动化系统的处理方式方面可能存在一些不可预见且非常令人不安的问题。最近,Apple Card 因涉嫌歧视女性而受到调查。
该问题由软件开发人员 David Heinemeier Hansson 于 2019 年 11 月 7 日首次曝光在他的个人推特上。汉森抱怨说,Apple Card 认为他应该获得比妻子更大的信用额度,他与妻子共同承担财务责任,例如联合报税。
“Apple Card 就是一个该死的性别歧视项目,”汉森写道。 “我和我的妻子提交了联合纳税申报表,居住在共有财产州,并且已经结婚很长时间了。然而,Apple 的黑匣子算法认为我应得的信用额度是她的 20 倍。上诉无效。”
这是他的第一次挫败感,但不是最后一次,最终导致纽约州金融服务部发表评论称,将开始卡的调查违反纽约法律。
客户服务体验也令人愤怒。他们反应很快,但没有人被授权讨论信用评估过程。没有机会提供证据。只是一句“对不起,你妻子的信用值被认为是你的1/20,6个月后再检查一次!”
— DHH (@dhh)2019 年 11 月 7 日
其他苹果客户也加入了汉森的行列,其中最重要的是苹果联合创始人史蒂夫·沃兹尼亚克,他分享了汉森的经历,即似乎获得了比他的配偶大得多的信用额度,并且在他们努力纠正这一问题时无法获得非自动响应。在一个彭博社采访沃兹尼亚克认为,对有缺陷的算法的持续依赖使得系统不仅可能出现这些不可预见的问题,而且也难以解决。
“这种不公平现象让我感到困扰,并且违背了事实原则。对于这些公司如何设置和运营这些东西,我们没有透明度,”沃兹尼亚克说。 “我们的政府在监管问题上不够强大......很多人会说,‘我们热爱我们的技术,但我们不再控制。’我认为情况就是如此。”
尽管备受关注的投诉并已展开调查,Apple Card 发行商高盛否认其任何流程中存在性别歧视。发言人安德鲁·威廉姆斯声称,所有信贷审批或变更的决定都是独立做出的,即使在已婚人士之间也可能有很大差异,但“在所有情况下,我们没有也不会根据性别等因素做出决定。”
我们想解决一些最近的问题#AppleCard信用决策过程。pic.twitter.com/TNZJTUZv36
— GS 银行支持 (@gsbanksupport)2019 年 11 月 11 日
无论如何,随着算法继续大规模地被委托给决策制定,无论有意识还是无意识地安装在各种系统中,似乎都存在一些不容忽视的问题。 Shacknews 将继续关注这个故事的发展。
TJ Denzer 是一位玩家兼作家,对游戏的热情占据了他的一生。他于 2019 年底进入 Shacknews 名单,此后一直担任高级新闻编辑。在新闻报道之余,他还特别协助直播项目,例如专注于独立游戏的 Indie-licious、Shacknews Stimulus Games 和 Shacknews Dump。您可以通过以下方式联系他:[email protected]也可以在 Twitter 上找到他@JohnnyChugs。