外卖骑手,困在系统里,在外卖平台系统的算法和数据驱动下,外卖骑手成了高风险职业。骑手的送货时间不断被压缩,骑手不得不选择逆行、闯红灯等做法,避免差评,增加收入。“送外卖就是和死神赛跑,和交警比赛,和红灯交朋友”。
“对不起,2.5亿老人正在被抛弃……”,老人通过安检时被拒绝了,因为他们没有健康码,也不知道什么是健康码。近2亿老年人没有接触过互联网或没有智能手机,这意味着他们与基于互联网的智能服务绝缘。
困在算法黑箱和算法偏见里面的,难道只是骑手和老人吗?当然不是,我们每个人都生活在算法的时代。我们点外卖、买电影票、订宾馆、打网约车,这些行为的背后都是一个个算法。我们是否能够获得商业贷款,我们需要为商业保险付多少钱,这些也都为各种数学模型所操控。理论上,算法模型可以更公平,因为机器不会说谎,每个人都应用相同的规则,没有偏袒。然而,恰恰相反,这些算法晦涩难懂,作者将商业利润、偏见和误解纳入了软件。美国学者凯西·奥尼尔给这些有害的数学模型起了个名字:“数学致命武器”。大规模杀伤性武器的三大特征是不透明性、规模性和破坏性。从2016年到2018年,美团外卖3公里送餐的最长时限从1小时缩至45分钟,再到38分钟。到了2019年,中国外卖订单单均配送时长比3年前又减少了10分钟。在庞大的数据面前,城市摆渡人——快递员幻化为提供输入的变量角色,任何试图保护自己的举动,在无死角的数据监控和效率至上的算法面前,都是那么的无力和苍白。这个时代跑得太快了。以大数据、人工智能、云计算为代表的新一代信息技术已经融入社会的方方面面。无论打开哪个App,都要拿到自己的位置、通讯录、相册;无论是坐高铁还是住酒店,都要刷脸看个人信息;无论你去哪里,你都必须首先点亮你的健康码。新技术不仅给社会经济文化发展带来了新的动力和能力,也带来了科技异化、风险无处不在、人的主体性丧失等问题。美国学者劳伦斯·莱斯哥提出“代码即法律”的论述,“大数据杀熟”“算法歧视”、“数据霸权”和“机器人霸主”的问题愈来愈近,隐秘的算法成为压榨社会边缘群体的工具,复杂的模型变成扩大数字鸿沟的推手。如果来自山区的贫困学生被助学金贷款模式认定为高风险,无法获得贷款,那么他将被剥夺脱贫、接受优质教育、找到体面工作等恶性多米诺骨牌循环的机会,最终沦为数字难民。如果人们的文明水平和道德水平可以用一个算法模型来操作和衡量,那么被误解和误判的人就永远没有机会去纠正,就会出现类似于2015年谷歌图片识别软件将三个年轻的美国黑人标记为黑猩猩所引发的争论。面对不断被采集和计算的数据,个人如何保护自己的尊严、私隐、自由,不至于沦落算法的奴隶?面对强大的数据技术,普通个人如何确定自己的权益能够得到尊重和保护?面对万物互联、无时无处不在的数字时代,政府监管部门如何面对数据伦理问题?我们是否应像设立医学伦理委员会一样,建立一个数据伦理委员会?在传统市场经济时代,为了保护消费者的合法权益,营造公平和谐的消费环境,政府部门会在市场上放置公平的秤,为前来购物的消费者提供免费称重服务。如果人们在购买食物时不放心,他们可以得到一个公平的比例,并说他们是否缺钱。而进入数字经济时代之后,大部分的商业行为从线下转为线上,从原子世界转向比特世界。越来越多的人在“淘票票”等票务App上购买电影票,而非去电影院售票大厅;而不同的手机型号,不同的用户标签,一张电影票的价格差异可以达到20%以上。某航班的飞机票,若被同一用户在一定时间内频繁搜索,很有可能就会涨价;而当你换一台手机,换一个用户账号登录,价格又会下跌。这样的案例还发生在电商购物、网约车、在线订宾馆等各种场景。这些差别定价算法模型是否需要新的数字公平尺度来衡量和检验,对政府来说是一个巨大的挑战。首先,政府监管部门还没有意识到设立“算法审查局”的重要性。技术是中性的,但算法不是。算法虽然有商业保密的要求,但仍需要相应的法规和机制来保证在公众质疑时能够得到审查和监督,通过使算法透明化和可追溯性来降低风险和伤害。在外卖骑手被困在系统中的情况下,需要一个组织要求美团、饿了么等公司讲解算法,进行算法审核,推动算法问责;限制他们在算法代码中嵌入更好的道德模型,创建符合我们核心价值观的大数据模型。这些要求可以是在重视道德的基础上牺牲一些商业利润;在注重公平的基础上牺牲一点效率。其次,在算法霸权面前,政府并不处于随时掌握最前沿的技术和解决方案的优先地位,即政府没有能力和人力来设立类似的机构。这就需要政府部门寻求外部专家的支持,组织跨学科的数据专家委员会或数据伦理委员会,对一些已经出现数学致命武器的领域进行定期检查和长期跟踪,通过制定标准来规范科技企业的行为和科技产品的特性。同时,通过发布标准、进行宣传,让民众了解科技产品的优势和危险。一个很好的范例是:2019年10月9日,文化和旅游部公示了《在线旅游经营服务管理暂行规定》。针对最受关注的“大数据杀熟”问题,明确规定在线旅游经营者不得利用大数据等技术手段,针对不同消费特征的旅游者,对同一产品或服务在相同条件下设置差异化的价格。第三,数据科学家也要像医生一样遵守希波克拉底誓言,尽力防止或避免算法模型的误用和误解。同时,商业巨子们要停止科技乌托邦幻想,即无根据地寄希望于用算法和人工智能解决一切问题。数学模型应该是我们的工具,而非成为我们的主人。希望困在系统中的快递员觉醒,迫使政府、社会、民众直面问题,寻求变革,监督驯服“数学毁灭武器”,为数字时代注入公平与问责。当我们的下一代回忆起这篇文章时,他们会把它当成这个新的数字文明的早期文物,就像大工业时代的致命煤矿一样。