特雷弗项目(Trevor Project)是一家致力于消除LGBTQ +青少年自杀的非营利组织,它正在利用人工智能更好地履行其使命。在过去的几年中,该组织使用自然语言处理(NLP)来加快和改进其志愿者培训并分类来电。该小组的AI团队以独特的方式处理常见的语言问题,目前正在努力大幅扩展其志愿者培训能力,并为世界各地的更多年轻人提供服务。整个组织都制定了策略,以仔细确保其AI模型及其应用程序的公平性,安全性和责任感。
特雷弗项目(Trevor Project)成立于1998年,全天候24/7运作,通过电话,短信和即时消息,将美国LGBTQ +社区的年轻成员与训练有素的辅导员联系起来。该组织还托管了Trevorspace,这是一个来自全球的LGBTQ +青少年的受监控社交网络,他们可以在这里结识具有相同兴趣的朋友,并找到难题的答案。最近的估计表明,美国每年有13到24岁的LGBTQ +青少年中有180万人考虑自杀。
开始AI之旅
根据技术副总裁John Callery的说法,Trevor项目在过去三年中一直在重建其用于危机服务的基础架构。在此过程中,团队成员开始注意到传统软件工程和决策树无法满足的创新领域。他说:“我们能够优先考虑自杀风险最高的用户进入我们的服务,这确实具有挑战性,而我们实际上无法通过有效而有意义的方式使用关键字来做到这一点。”“所以,这让我们真正考虑了……我们实际上将如何解决这些问题。”
去年,出于这个想法,Trevor Project申请了Google的AI Impact Challenge,并被选为2,602个应用程序的20个入围者之一。谷歌授予Trevor Project 150万美元和一个Google研究员团队,以帮助组织解决AI问题。卡雷里说:“从那里开始,谷歌在设定目标,如何处理负责任的人工智能以及[以及]如何生产人工智能方面引起了极大的关注。”
特雷弗项目特别关注责任和交叉性:因为在预防危机中每时每刻都很重要,而且支持它的年轻人都面临着独特而艰巨的挑战,因此组织的每次互动都必须迅速而敏感。它的分类模型专门设计用于优化这些交互。
例如,当处于危机中的年轻人进入TrevorChat时,他们被要求以几句话或几句话自愿提供有关他们感觉的任何细节。他们还被要求从五个选项的下拉菜单中选择自己有多沮丧,是否有自杀念头以及是否曾尝试过自杀。摄入形式也为用户提供了分享他们的性取向,性别认同和种族的机会,如果他们愿意的话。与自杀有关的两个问题是强制性的,其余的对于用户来说是可选的。然后在几分钟之内,将用户与训练有素的辅导员联系起来。(TrevorText关于机密的1:1文本消息的问题是相似的,但它们不要求提供性别,性别或种族身份。)
根据客户的摄入反应,Trevor项目使用ALBERT自然语言处理模型来分类和预测年轻人在与辅导员联系并进行案例分类之前的临床自杀风险水平。寻求Trevor项目帮助的人们的多样性,尤其是在人们的身份和人口统计的相互关系方面,提出了挑战。“其中一部分是确保我们能平等地获得来自应受Trevor项目照顾的年轻人的所有背景的例子,” Trevor项目的AI和工程负责人Daniel Fichter说道,说过。
道德AI
鉴于Trevor Project的弱势客户群,对于组织确保AI的公平性至关重要。“在许多情况下,这包括减少系统的种族和性别偏见,并且对于像Trevor Project这样的组织,这还意味着挽救了比我们想象的更多的生命,” Kendra Gaunt,在Trevor Project的头衔是数据和AI产品负责人在发给VentureBeat的材料中说。Gaunt加入了Trevor项目,与Google研究员和该团队的AI和工程团队一起工作。
Callery说:“对于某些使用AI的组织来说,公平是在避免不良结果的情况下出现的。”“而且我认为,仅仅因为我们正在做的工作,以及(因为)我们首先使用技术的原因以及我们要努力实现的使命,人工智能是一件积极的事情以及公平-我们必须以建设性的方式,积极的方式来考虑它。确保我们正在建立的服务确实能为所有人口统计背景和所有相交背景的年轻人提供服务是一个问题。”
Gaunt表示,Trevor项目花费了数月的时间来开发指导原则和AI模型,以避免加剧基于种族或交叉性等因素影响人们的偏差。她将这些步骤分为五个不同的部分:减轻数据偏差,保护隐私,考虑最终用户的多样性,依靠领域专业知识以及评估公平性。
她为那些希望减少数据偏差的人提供了务实的建议。“预先定义问题和目标。提前这样做将为模型的训练公式提供依据,并可以帮助您的系统尽可能保持客观性。”她说。“没有预先确定的问题和目标,您的培训公式可能会被无意地优化以产生不相关的结果。”
尊重隐私涉及明显的措施,例如遵守您使用的任何数据集的条款和条件以及隐私政策。但是Gaunt表示,牢记项目目标也很重要,这样您才能与可接受的数据使用保持一致,并且她主张使用差异隐私技术来删除个人身份信息(PII)。她补充说:“团队还可以排练隐私攻击并执行自动系统测试,以防止不良行为并进一步保护私人信息。”
特雷弗项目(Trevor Project)的独特之处在于其最终用户是一群非常特定的人,但是这一狭窄的群体却千差万别,其中包括无数的经历,背景和相交身份。为了最好地了解如何为该小组提供服务,该组织依赖领域专家-也就是说,他们最了解给定的地区或人口,甚至(或特别是)不是技术人员的人。
“与领域专家进行磋商并与时俱进,了解模型所处的社区,并计划人类可能如何响应与模型的交互,这一点很重要。” Gaunt说。“依靠组成直接反馈社区的个人,也支持建立包容性模型。”她说,Trevor Project的技术团队与危机服务团队密切合作,以确保他们遵守“有关危机干预和自杀预防的临床最佳实践”。
“没有这些必要的专业知识,我们实施AI可能会适得其反,并给我们服务的LGBTQ青少年造成意外伤害,” Gaunt说。
关键的最后一步是评估AI模型输出的公平性,以减轻对它打算帮助的人的潜在负面影响。“除了定义从统计角度和用户体验来衡量系统性能的成功指标之外,还必须在整个开发过程中,上线及以后的过程中,对公平性进行衡量。” Gaunt说。
她说,每个组织都需要找到最佳方法(有很多可用方法)来衡量其特定用例和人口统计的公平性。她说:“在特雷弗项目中,这些措施包括但不限于:性取向,性别认同,种族和种族,以及这些认同的交集。”
“通过建立监视和警报系统来随时间跟踪模型的性能,团队可以验证AI工具将对使用它们的任何人有效。举办定期的工作会议也很有帮助,其他团队的专家可以在这些会议上回顾AI的性能,公平性,评估偏差模型并根据需要进行路线修正。”
加快培训
在他们可以帮助处于危机中的孩子之前,Trevor Project的志愿者顾问需要接受培训。由于培训需要时间和资源,因此长期以来一直是该团队任务的瓶颈。
辅导员学习如何与代表不同社区的年轻人交谈并了解他们。一种方法是使自己熟悉Z代成员使用表情符号,非传统标点符号以及所有大写或小写字母表达自己的精确方式。这些知识使辅导员可以在最困难的时刻更好地与年轻人联系并照顾他们。但是现在,特雷弗项目(Trevor Project)正在使用生成语言模型,通过名为“对话模拟器”的工具来显着加速新志愿者培训。菲希特说:“帮助辅导员为轮班中与年轻人的第一次互动做好准备的一个真正核心的组成部分就是获得一些'真实'的经历。”在相同的独特语言怪异和细微差别下对AI模型进行了训练,
Fichter表示,使用AI进行培训的另一个好处是,辅导员可以独自经历危机沟通的情感体验,而不必在线路的另一端拥有真正的人。富希特说:“人工智能真的可以成为通往陷入困境的心灵的窗口,就像那些真正的人内部的心理咨询师最终将拥有一颗真挚的心。”
这些志愿顾问的数量正在迅速增长。两年前,特雷弗项目(Trevor Project)每个季度可以培训30名顾问。现在,通过在线异步编程,该组织表示,它已经能够每月培训100多名辅导员。辅导员可以按自己的时间学习,并且可以根据需要加快学习速度。
更明智的下一步
人工智能在其深度和规模上都促进了Trevor项目的发展。除了在美国扩展业务之外,Trevor项目还在探索在其他语言和国家实施该技术之前,如何在全球范围内支持LGBTQ +青少年。
从技术角度来看,这说起来容易做起来难,因为在现有模型中添加新语言非常困难。除了许多语言之间全新的词汇和句法差异之外,还有一些惯用语。例如,以西班牙语提供服务需要Trevor Project处理一组新的语术语以及文本消息中的一组新的古怪和缺点。
国际扩张引发了人们对在LGBTQ +人民面临越来越多的边缘化和更多受限制权利的地区提供服务的担忧。TrevorSpace已在某些国家/地区被禁止,Trevor Project多年路线图的任务之一是想出更多方法在这些地方提供可访问的匿名资源。
特雷弗项目一直以来都在关注将匿名性和数据隐私纳入其服务中。即使在一些小细节上,例如从TrevorSpace的聊天室中删除品牌的情况下,也会出现这种情况,以防客户出于安全原因需要谨慎,例如某人可能看到自己在做什么。另外,辅导员和年轻人之间的每次对话都被视为孤立的互动。这种方法使人们可以在遇到特殊危机时在情绪激动的地方获得帮助,而无需事先开会就知道Trevor项目。
根据Callery和Fichter的说法,Trevor项目目前正在扩展其机器学习和软件工程团队,并探索与大学研究计划的合作关系,以进一步提高其护理质量。