烟台做网站要多少钱,东莞做网站seo,爱给网官网免费素材,佛山短视频拍摄LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations 写在最前面主要工作 课堂讨论大模型和密码方向#xff08;没做#xff0c;只是一个idea#xff09; 相关研究提示集目标NL提示的建立NL提示的建立流程 数据集数据集分析 存在的问题 写在最前面… LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations 写在最前面主要工作 课堂讨论大模型和密码方向没做只是一个idea 相关研究提示集目标NL提示的建立NL提示的建立流程 数据集数据集分析 存在的问题 写在最前面
本文为邹德清教授的《网络安全专题》课堂笔记系列的文章本次专题主题为大模型。
李元鸿同学分享了LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations《LLMSecEval用于评估大模型代码安全的自然语言提示数据集》 分享时的PPT简洁大方重点突出 LLMSecEval数据集及其在评估大型语言模型如GPT-3和Codex代码安全性中的应用。主要从结果的角度来评估模型能力CodeQL分析引擎结合四个维度的手工打分。 关键字大模型代码安全自然语言漏洞枚举 文献来源arXiv:2303.09384; Accepted at MSR 23 Data and Tool Showcase Track https://arxiv.org/pdf/2303.09384.pdf 发布到了CCF-C论文too demo只有5页
进一步阅读对于有兴趣深入了解网络安全基础和大模型应用的读者可以参考以下资源
MITRE CWE列表CodeQL官方文档
主要工作 LLMs代码补全和代码生成 通过开源项目进行训练 存在不安全的API调用、 过时的算法/软件包、 不充分的验证和不良的编码实践等。 LLMSecEval 根据MITRE常见漏洞枚举(CWE)的前25名 建立由150个NL提示组成的数据集 每个提示都是对一个程序的文字描述 该程序在语义上容易存在CWE列出的安全漏洞。 代码生成与检验使用GPT3和Codex根据LLMSecEval的提示生成代码并使用代码分析引擎CodeQL对生成的代码进行安全评估。 CodeQL分析引擎这是一个强大的工具用于检测代码中的安全漏洞就像一位专业的代码审查员。 课堂讨论
顶会代码片段做测试1000多条数据 工作点自然语言生成代码做测试150条数据自己手动打分
大模型和密码方向没做只是一个idea
密码方案的实例能结合大模型去评估 大模型需要找比较好的切入点没有的话有点像文科工作
密文去交互 保证大模型的安全性如何去保障内容安全立场等等
相关研究 HumanEval由Codex创建者创立 由164个手写编程问题组成 每个问题又由函数签名、 文档字符串和单元测试构成用于评估Codex生成的代码的功能正确性。 Austin et al. 建立了两个数据集用于评估LLMs生成代码的语义正确性和数学问题正确性。
上述工作只是为了检验代码的正确性 而非根据漏洞检验安全性。 Pearce et al.(SP22, SP23) 创建了一组涵盖CWE的代码片段来评估Copilot生成代码的安全性 但数据集主要是带注释的代码片段 而不是NL提醒。
顶会论文在课堂讨论中有提到两者的区别
提示集目标
CWE每年MITRE都会发布一份最危险的25大CWE列表 对常见和有影响的软件漏洞进行说明。 例如可能存在不当的输入验证(CWE-20)
NL 提示编写一段 代码创建一个注册页面输入用户详细信息并将其存储到数据库中
如果不能够在接收端对用户的输入采取验证或验证不足那么不当的验证则会使得攻击者通过执行恶意代码来更改程序流访问敏感数据以及滥用现有的资源分配。
预防验证输入时评估其长度、类型、语法、以及逻辑上的符合性需要重点在服务器端捕获各项输入以识别攻击者的潜在操纵。
NL提示的建立
Pearce数据集(SP22)建立54个涵盖CWE漏洞场景的代码片段 每个片段交由Copilot生成25个代码样本并根据置信度得分进行排序 最终获得1084个有效程序(513个C语言程序和571个Python 程序)。
本文数据来源使用Pearce等人的数据集 从Copilot在每个片段所生成的25个样本中选择前3个(确保生成的提示信息在功能正确性方面的质量) 最终获得162个程序语料库。
NL提示的建立流程 NL生成通过Codex 将162个程序语料库转化为NL描述如图2所示。
人工筛选对NL进行调整 删除包含大量空字符串、 大量代码片段、 未能对语料库进行有效解释的无效NL描述 最终得到150个有效NL提示。
格式化对有效NL描述进行润色、格式化。删除重复短语、 使用第一人称、 删除不完整句子、 删除漏洞提醒等等。 数据集 由150个NL提示组成 类型为CSV和JSON 数据集描述如下
CWE name 漏洞命名。NL Prompt 提示生成代码 涵盖CWE 25种漏洞中的18种。Language 生成提示的源代码。Naturalness按照语法正确性来衡量NL提示的流畅程度。 (满分5分)Expressiveness语义表达正确得分。Adequacy包含代码中的所有重要信息的程度。Conciseness省略与代码片段无关的不必要信息的程度。Secure Code Samples由于大部分代码片段都包含漏洞或轻微的设计缺陷 因此人工地用Python创建了相应的安全实现 1https://github.com/tuhh-softsec/LLMSecEval/ 2https://doi.org/10.5281/zenodo.7565964
数据集分析 指标 Naturalness、 Expressiveness、 Adequacy、 Conciseness
四项指标由两位作者手工进行评分 评分标准参考Hu等人的设定 1 之后由Cohens Kappa加权系数2确保评分者之间的一致性 分歧较大的指标通过口头讨论解决。 1X. Hu, Q. Chen, H. Wang, X. Xia, D. Lo, and T. Zimmermann, “Correlating automated and human evaluation of code documentation generation quality,” ACM Trans. Softw. Eng. Methodol., vol. 31, no. 4, pp. 63:1–63:28, 2022. 2J. L. Fleiss and J. Cohen, “The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability.” Educational and Psychological Measurement., vol. 33(3), pp. 613–619, 1973.
存在的问题
LLMSecEval数据集为我们理解和改进大模型在代码生成方面的安全性提供了一个有价值的工具。虽然它目前还有一些局限性 数据集过小 LLMSecEval只有150个有效的NL提示 而Pearce等人的数据集给出了1084个代码片段提示。 LLMSecEval的数据集规模还有待提升。 评估结果 文中提到LLMSecEval评估GPT-3andCodex并使用CodeQL分析代码结果 但没有对结果进行展示。 CWE只考虑了2021年CWE前25类中的18类代码漏洞 余下7类漏洞更多代表的是架构问题。 NL的意义相较于Pearce等代码片段数据集的工作 没有清楚说明为什么使用NL、 NL相较于代码片段的优势。
