我将牢记我并未创造世界，也不会让世界来满足我的方程式。
更新历史
- 2022.07.11：完成初稿
读后感
算法出圈要数骑手们被困在算法中，这里引出一个问题，好的模型一定要有反馈，并且不能纯粹以利润作为目标函数。
工程师的宣言很重要：
- 我将牢记我并未创造世界，也不会让世界来满足我的方程式；
- 虽然我将大胆使用模型来估算价值，但不会过分倚重这一数学分析；
- 我将永远不会为了追求模型的简洁而牺牲现实的复杂，除非我能够对这样做的原因给出一个合理的解释；
- 我也不会向使用我所创建的模型的人们夸大模型的精准性。相反，我将明确说明模型中的假设条件和模型忽略的因素；
- 我明白我的工作可能会对社会和经济造成巨大的影响，其中的许多影响将超出我的认知范畴
读书笔记
数学应用助推数据经济，但这些应用的建立是基于不可靠的人类所做的选择。有些选择无疑是出于好意，但也有许多模型把人类的偏见、误解和偏爱编入了软件系统，而这些系统正日益在更大程度上操控着我们的生
许多数学杀伤性武器都是依靠自己的内置逻辑来定义其所处理的情况，然后再以其自己的定义证明其输出结果的合理性的。这种模型会不断地自我巩固、自我发展，极具破坏力——而且在我们的日常生活中很常见。
这凸显了数学杀伤性武器的另一个常见特征，即其结果往往更倾向于惩罚穷人。部分原因是数学模型是被设计来评估数量巨大的人群的。数学杀伤性武器擅长处理巨量数据，而且处理成本很低，这也是它们的优势所在。而富人通常受益于个人投入。
萨拉·韦索基在拿到评分结果后没几天就被解雇了。好在，很多人包括校长都担保她是个好老师，她很快在北弗吉尼亚富人区的一个学校入了职。换句话说，由于一个正当性与准确性都极为可疑的模型，穷学校失去了一个好老师，而不会根据学生考试成绩开除教师的富学校得到了一个好老师。
建立数学杀伤性武器的人通常在他们最感兴趣的行为方面缺乏相应的数据。所以，他们将本应通过调查获得的数据替换成间接变量。他们在一个人的邮政编码或语言模式和此人偿还贷款的能力或者胜任工作的潜力之间建立联系。这些联系绝大部分具有歧视性，有些甚至是不合法的。
警方自身不断制造新数据，证明了对贫困社区加大警力的合理性。而美国监狱里则挤满了成千上万个妨害罪罪犯。他们大多数来自贫困社区，很多是黑人或拉美族裔。也就是说，即使这类模型不关心种族因素，其结果仍然体现了种族偏差。在存在种族隔离的城市中，地理位置是种族的一个非常有效的替代变量。
尽管PredPol所开发的是一个非常有益，甚至可以说是高尚的软件工具，但它同时也是一个会自行发展的数学杀伤性武器。从这个意义上来说，即使是出于最高尚的初衷，PredPol的预测软件仍然授权了警察局锁定穷人、拦截穷人、逮捕穷人，并把其中的一部分穷人罪犯关进监狱。警察局长，如果不是全部，至少也是大部分，则认为他们正在采取唯一合理的途径来打击犯罪。他们指着地图上的贫困社区说，这就是犯罪高发地。先进的大数据技术为他们一贯以来的观念赋予了精确性和“科学性”。
结果是，我们一边将贫困视为犯罪，一边相信我们的工具既科学又公平。
在得克萨斯州哈里斯县，服刑时间越长，囚犯在获释后找不到工作的可能性就越大，因此他们就需要更多的食品券和其他的公共援助，而且更可能会犯下更多的罪行。但是，要想利用这项研究让政策更加明智，社会更加公正，政客们将不得不考虑那个令他们畏惧的少数族裔群体的利益，而许多（也可能是大多数）选民更愿意忽视这一点。
这些招聘模型当然不可能包含应聘者将在公司有怎样的表现的信息，因为那是发生在未来的事，目前尚不可知。所以，像很多其他的大数据模型一样，招聘模型只能用替代变量预测员工的工作表现。我们在前面的章节已经了解到了，替代变量必定是不够精确的，而且往往隐含着不公平。其实，早在1971年，美国最高法院在格罗戈斯诉杜克能源公司案中就已经做出裁决，公司在招聘时采用智力测试具有歧视性，属于非法行为。有人可能会认为此案的判决很有警示作用。但恰恰相反，公司只是转向了使用智力测试的代替品，比如被“亮了红灯”的凯尔·贝姆所做的那项人格测试。
一旦模型经过了技术专家的校准投入使用，此后模型收到的可用于修正的反馈数据就变得极少。这个模型与我们在第一章中讨论的用于体育运动的模型形成了强烈对比。大多数专业篮球队都会雇用数据极客，这些人负责通过分析球员的一系列参数建立表现模型，包括移动速度、垂直弹跳高度、罚球命中率以及大量其他的变量。当选拔运动新秀的时候，洛杉矶湖人队可能会拒绝来自杜克大学篮球队的一个表现亮眼的控球后卫，理由是根据表现模型，他的助攻数据不佳，而控卫必须是优秀的传球者。然而，在接下来的赛季里，他们可能会很沮丧地看到，那个不被看好的球员作为犹他爵士队的一员赢得了年度最佳新秀，并且他的助攻分数在联盟中位居前列。在这种情况下，湖人队就需要寻找模型中哪里出了问题。也许这个球员在其大学校队主要负责得分，也许他在犹他爵士队学到了传球的诀窍。不管怎样，他们都可以用新的数据努力改善他们的模型。
人力调度软件是一种更为可怕的数学杀伤性武器。如前所述，这种模型的应用范围巨大，而且剥削的对象是本已在艰难谋生的人。另外，这种模型是完全不透明的。劳工往往完全不知道自己将在何时被叫去上班，因为召唤他们的是一个武断专制的程序。
一如许多其他的数学杀伤性武器，问题的根源在于模型创建者选择了什么目标。这些模型追求的是效率和盈利的最大化，而不是正义或“团队”的福祉。当然，这是资本主义的本质。对企业来说，盈利有如氧气，是维持其生命力的必要条件。站在他们的角度，可以省钱而不省是极其愚蠢的，甚至是违反自然规律的。
《国家处在危险中》发布7年之后，桑迪亚国家实验室的研究员再次分析了该份报告中的数据。这些研究员可都是建造和维护核武器的统计专家，他们很快就发现了错误。确实，高考平均分在下降。但是，在17年里，参加高考的总人数激增。大学的校门逐步对贫困学生和少数族裔学生开放，机会不断增多，这是社会良性发展的标志之一。这些新近获得考试机会的学生自然会因为准备不足拉低高考平均分。然而，当统计科学家把所有的高考学生按家庭收入进行分组后，他们发现，每一小组的高考分数都在提高，不管是穷学生组还是富学生组。
这种现象在统计学上叫辛普森悖论，即在某个条件下，两组数据在分别讨论时都满足了某种性质，可是一旦合并考虑，就可能导致相反的结论。教育报告《国家处在危险中》推导出的错误结论，催生了整个教师评估行动，而这一错误的结论来源于对数据的严重误读。
自从比尔·费尔和艾萨克开创了此模型之后，信用评分系统的使用得到了广泛普及。如今，我们每一个人在统计科学家和数学家的眼中都是由各种各样的数据拼凑起来的总和，包括我们所在街区的邮政编码、上网模式以及最近的购物记录。许多伪科学模型也想要预测我们的信用可靠程度，试图给我们每个人一个所谓的电子评分。这些分数在我们几乎不知情的情况下为我们中的一些人打开了机会之门，同时也把另一些人拒之门外。与FICO评分模型及其他类似的模型不同的是，电子评分更为武断任意，不负责任，不受管束，而且往往不公平。简单来说，电子评分是一种数学杀伤性武器。
让我们来考虑一下这些电子评分系统产生的恶性循环。电子评分系统很可能会给来自东奥克兰偏远地区的借款者一个低评分。这个地区有很多人拖欠贷款。所以，从这些人的屏幕上跳出的信用卡办理广告将是那种锁定违约风险更高的人群的类型，这意味着向本已艰难谋生的人推荐可用透支额度更少、贷款利息更高的信用卡。
，人们会问我如何教授数据科学家伦理观。我通常首先会让大家讨论如何构建一个电子评分系统模型，然后问他们把“种族”作为模型的输入数据是否合理。而他们必然会回答说这种做法不公平，而且很可能是非法的。我的第二个问题是问他们是否要在模型中使用“邮政编码”数据。乍一看，这一做法没什么问题。但是，这些人很快就会发现，他们把过去的不公正编码带进了新的模型中。当他们的模型将“邮政编码”数据考虑在内时，他们其实表达了这样一种观点：某个区域的居民的行为史可以决定，或者至少在某种程度上决定，住在那里的人应该得到什么样的贷款。
换句话说，电子评分系统建模者设法回答的是这个问题：“像你这样的那类人过去的行为表现如何？”而在理想的情况下，应该问的问题是：“你过去的行为表现如何？
被误解、误放入错误的“池”里的人该怎么办呢？这种情况经常发生，而并没有可用的反馈回路用以修正系统。一个数据处理机器是不可能了解自己把一个有价值的潜在客户分配给了机器人客服的。更糟糕的是，被无监管的电子评分系统评选出的失败者无权抱怨，更不用说纠正系统的错误了。在数学杀伤性武器领域，他们的遭遇是附带损害。而由于整个黑暗的系统隐藏在遥远的服务器群中，他们几乎不可能弄清真相。他们中的大多数人可能会理所当然地得出这样的结论：生活就是不公平的。
利用信用评分指导招聘和升职的行为惯例导致了贫困的恶性循环。毕竟，如果你因为信用记录找不到工作，那么你的信用记录很可能会变得更糟，你找到工作的机会就会变得更小。这个问题和年轻人在第一次找工作时所面临的问题一样：因为缺乏经验而不被录用；或者和长期失业者面临的问题一样：他们发现几乎没有雇主会雇用他们，因为他们长期处于失业状态。对于那些本已陷入不幸境地的人来说，这种情况就是一个不断升级的恶性循环。
如果我们最后一次回顾一下20世纪50年代的银行家，我们会发现他的大脑充斥着各种人类的劣根性，包括欲望、偏见和对外来者的不信任。而正是为了更加公平有效地开展工作，他和行业里的其他人把工作交给了算法。
60年以后的今天，世界被自动化系统控制，这些系统所做出的判断仰赖的是我们漏洞百出的数据档案。系统迫切需要理解语境、常识以及只有人类才可以提供的公平。但是，如果我们把这个问题交给关注效率、增长以及现金流（并且可以容忍某种程度的错误）的市场，想要干预的人类将会被命令远离系统。
据《福布斯》杂志的一篇报道，大型机构投资资金现已占到P2P平台所有资金的80%以上。对于大银行来说，这种新的借贷平台是监管严苛的银行业务的便捷替代品。在P2P系统中，借款人几乎能够分析其选择的每一个数据并据此给出他自己的电子评分。P2P平台完全允许借款人建立社区、街区和购物商店的风险相关性，而且借款人在做这些事情的时候完全不用给贷款申请者发送尴尬的信件解释原因。
由于保险公司对我们的了解越来越多，它们现在已经能够查明哪些人是风险最高的客户，然后，它们要么将这些人的保险费增加到最高，要么在合法的限度内拒绝支付他们的保险赔偿金。这与保险业创建之初帮助社会平衡风险的最初目的相距甚远。在一个每个人都被视为可锁定目标的世界里，我们不再是支付平均费用，而是承担了预期的成本。保险公司非但没有帮助我们平稳渡过生活中的意外时期，反而要求人们提前为还未发生的意外买单。这破坏了保险的本意，对那些只能勉强负担保险的人来说，其遭到的打击尤为严重。
直邮竞选宣传对于每一个选民的针对性投放，受益于大数据技术和市场营销的结合。现在，竞选团队可以精准锁定每一个微型市民群体，争取他们的选票和赞助，用精心打磨过的针对性的宣传信息来吸引他们的注意，而这些信息是任何其他群体都看不到的。这些宣传信息也可能以脸书上的一则标语或是一封筹集资金的电子邮件等形式出现。每条宣传信息都可以让候选人悄无声息地展现他们的多面性，而谁也说不准他们在真正当选后会展现其中的哪一面。
整个政治系统（通过金钱投入、关注、讨好等一系列活动）锁定特定的目标选民，就像一朵花追随太阳，而其余的选民则几乎被完全忽视了（除了能够提供资金的人）。模型已经预测到了我们大多数人的投票决定，且认为不值得投入任何资金来改变。
一个恶性循环产生了。不被重视的选民会对国家的政治系统更加幻灭。胜利者了解游戏规则，他们知道内幕，而我们当中的绝大多数人只能接收经过市场测试的残羹冷炙。
此外，还存在另一种不平衡。预期会参与投票的人如果因为某种原因错过一轮选举，则这些人在下一轮选举中会得到特别关注。他们参与投票的可能性仍然很高。但是预期不会参与投票的大部分人都被忽视了。选举系统致力于寻找花最少的钱就能使其转换阵营的选民，希望所花费的每一分钱都能得到最大化的回报。而那些不投票者往往意味着更高的转化成本。这一动态系统刺激特定人群保持投票活跃度，同时确保余下的大多数继续保持低水平的政治参与度。
快速穿过虚拟的一生，我们经历了中学、大学、法庭和职场，甚至投票厅。一路上，我们见证了数学杀伤性武器的破坏力。数学杀伤性武器承诺效率和公平，却扭曲了高等教育，推高了债务，助长了大规模监禁，在每一个人生的重大关头打击穷人，破坏民主。合理的应对方式似乎就是一个一个解除这些武器。
问题是，这些数学杀伤性武器会互相滋养、固化。穷人更可能信用差，居住在犯罪高发区，周围的人也都是穷人。一旦数学杀伤性武器吃透了相关数据，它们就会向穷人的世界倾倒次级贷款或者营利性大学的掠夺式广告。治安系统会派更多的警力监管并逮捕他们，对他们处以更长的刑期。这些数据又会流入其他的数学杀伤性武器，从而使后者将他们判定为高风险人群或者易掌控群体，妨碍他们找到工作，同时推高他们的按揭、车贷以及你能想象得到的各方面保险的利率。穷人的信用等级因此进一步下降，一个完美的死亡漩涡就此诞生。在数学杀伤性武器的世界里，贫穷越发有害并且摆脱代价巨大。
美国的国家格言是“合众为一”，但数学杀伤性武器颠倒了这一等式。数学杀伤性武器暗箱操作，把民众整体进行分组归类，在幕后对我们的远亲近邻施加伤害，而且是极为广泛的伤害：一个单亲母亲因为频繁变更的工作时间表而不能为孩子及时安排好托儿所；一个努力奋斗的年轻人因为未通过职场人格测试而在申请小时工时被拒；少数族裔的穷小伙被警察无故拦截、粗暴对待，又被当地警局给予警告处分；一个来自贫困地区的加油站服务员不得不负担高额的保险账单。这是一场无声之战，穷人首当其冲，中产阶级也难逃一劫。大多数受害者经济实力欠缺，缺乏律师资源，也没有资金充足的政治组织为他们而战。结果是，穷人遭受了大范围的伤害，而上层阶级则称之为不可避免的牺牲
工程师起草了这个誓言。内容如下：
- 我将牢记我并未创造世界，也不会让世界来满足我的方程式；
- 虽然我将大胆使用模型来估算价值，但不会过分倚重这一数学分析；
- 我将永远不会为了追求模型的简洁而牺牲现实的复杂，除非我能够对这样做的原因给出一个合理的解释；
- 我也不会向使用我所创建的模型的人们夸大模型的精准性。相反，我将明确说明模型中的假设条件和模型忽略的因素；
- 我明白我的工作可能会对社会和经济造成巨大的影响，其中的许多影响将超出我的认知范畴
数据不会消逝，计算机也不会，数学更不会。预测模型日益成为我们的必备工具，我们利用这些工具经营各种机构，配置资源，管理我们的生活。但是，本书想要阐明的是，这些模型的建立不仅仅基于数据本身，也基于我们关注或忽视哪些数据的选择。我们的选择不仅关乎物流、利润和效率，从根本上来说，这是一个道德问题。
如果我们回避对数学杀伤性武器的探索，把它们当作一种中立的力量、不可避免的趋势，就像天气或潮汐，我们就等于是放弃了我们的责任。我们已经发现，数学杀伤性武器视我们为机器零件、无足轻重的抗议者，以不公平为养料。我们必须团结起来监管这些数学杀伤性武器，驯服它们并解除它们的武装。我希望，在我们学会如何为这个数据时代注入公平和问责之后，将来的人们在回忆起数学杀伤性武器时，会把它当作这场新革命的早期遗产，就像一个世纪前的致命煤矿一样。数学比数学杀伤性武器的价值大得多，民主也是如此。