西安网站制作顶尖公司,成都建立网站,深圳企业信用网,wordpress付款本文是LLM系列文章#xff0c;针对《Bias and Fairness in Large Language Models: A Survey》的翻译。 大型语言模型中的偏见与公平性研究 摘要1 引言2 LLM偏见与公平的形式化3 偏见评价指标的分类4 偏见评价数据集的分类5 缓解偏见的技术分类6 开放问题和挑战7 结论 摘要
…本文是LLM系列文章针对《Bias and Fairness in Large Language Models: A Survey》的翻译。 大型语言模型中的偏见与公平性研究 摘要1 引言2 LLM偏见与公平的形式化3 偏见评价指标的分类4 偏见评价数据集的分类5 缓解偏见的技术分类6 开放问题和挑战7 结论 摘要
大型语言模型(llm)的快速发展使得处理、理解和生成类人文本成为可能并越来越多地集成到触及我们社会领域的系统中。尽管取得了成功但这些模式可以学习、延续和放大有害的社会偏见。在本文中我们提出了对LLM偏见评估和缓解技术的全面调查。我们首先巩固、形式化并扩展了自然语言处理中的社会偏见和公平的概念定义了伤害的不同方面并引入了几个必要的条件来实现LLM的公平。然后我们通过提出三种直观的分类来统一文献其中两种用于偏见评估即指标和数据集另一种用于缓解。我们的第一个偏差评估指标分类法消除了指标和评估数据集之间的关系并根据它们在模型中运行的不同层次(嵌入、概率和生成文本)组织了指标。我们用于偏见评估的第二种数据集分类法根据数据集的结构将其分类为反事实输入或提示并确定目标危害和社会群体;我们还发布了公共可用数据集的整合以改进访问。我们的第三种减轻偏见的技术分类法通过在预处理、训练中、处理内和后处理期间的干预对方法进行分类并通过细化的子类别阐明了研究趋势。最后我们确定了未来工作中存在的问题和挑战。综合广泛的近期研究我们的目标是为现有文献提供一个明确的指导使研究人员和从业者能够更好地理解和防止LLM中偏见的传播。
1 引言
2 LLM偏见与公平的形式化
3 偏见评价指标的分类
4 偏见评价数据集的分类
5 缓解偏见的技术分类
6 开放问题和挑战
7 结论
我们对LLM偏见评估和缓解技术的文献进行了全面调查汇集了广泛的研究来描述当前的研究前景。我们阐述了自然语言处理中的社会偏见和公平的概念定义了语言中独特的伤害形式并提出了一套LLM所需的初始公平标准。然后我们开发了三种直观的分类法:偏差评估的指标和数据集以及减轻偏差的技术。我们的第一个指标分类描述了评估指标和数据集之间的关系并根据它们所操作的数据类型来组织指标。我们的第二种数据集分类法描述了用于偏差评估的常见数据结构;我们还整合并发布了公开可用的数据集以增加可访问性。我们对缓解技术的第三种分类是根据干预阶段对方法进行分类对每个阶段的趋势进行详细的分类。最后我们概述了几个可操作的开放性问题和挑战以指导未来的研究。我们希望这项工作能够提高对测量和减少LLM偏见的技术努力的理解并促进这些领域的进一步探索。
