
PRIN 2022 招标公告。2022年2月2日第104号决定
项目标题:TRex-SE:可信赖的推荐系统 × 软件工程师
CODICE CUP: D53D23008730006
预算:€ 87.060,00
项目负责人或单位负责人: Fedelucio Narducci
其他研究单位或可能的子单位:
贝内文托萨尼奥大学(Unisannio)
拉奎拉大学(Univaq)
项目简要说明
面向软件工程师的推荐系统(RSSEs)通过推荐 API、代码片段或变更管理专家来支持开发任务。GitHub 和 Stack Overflow 等平台所提供的数据,加之机器学习技术的进步,显著提升了这类系统的能力。然而,训练数据的丰富也带来了风险。推荐的代码可能存在漏洞或包含恶意内容,尤其是在通过虚假项目或误导性讨论操纵基于受欢迎程度的指标时。此外,随着安全、隐私和法律问题日益受到重视——特别是鉴于新兴的人工智能法规——开发人员需要了解推荐的来源及其可信度,并确保推荐过程具有透明性。
此外,RSSEs 很少能够有效整合用户反馈。开发人员应能够接受、拒绝或修改推荐,从而支持人在回路(human-in-the-loop)场景,提高系统的准确性和可靠性。
目的
TRex-SE(Trustworthy Recommenders x Software Engineers)项目旨在通过开发相关方法,提升 RSSEs 的可信赖性。
预期成果
识别 RSSE 推荐中的漏洞与偏见:
在评估 RSSEs 提供的推荐中是否存在漏洞(或任何形式的风险)以及是否存在受偏见影响的推荐之后,本目标旨在为 RSSEs 开发具备漏洞感知和偏见感知能力的挖掘工具。
可信赖 RSSEs 的设计与评估:在分析公平、无偏见且安全的推荐系统(RSs)的设计技术与方法之后,本目标旨在为可信赖的 RSSEs 设计并评估推荐方法。
已取得的成果 (对于正在进行中的、属于滚动资助的 PRIN 2022 项目,本部分将不予填写)
RSSEs 中的人在回路:在分析具备人在回路能力的现有 RSs 之后,本目标旨在开发用于管理 RSSEs 场景下用户反馈的技术和工具。
- 识别 RSSEs 中的漏洞与偏见
- 开发基于 LLM 的挖掘与检测工具(例如,多智能体恶意软件检测、语义噪声过滤),以识别存在漏洞、遭到投毒或不一致的数据。
- 分析 LLM 输出和基准测试中的偏见与可靠性问题(例如,提示词敏感性、多语言偏见、数据泄漏)。
构建分类体系并开展实证研究,以理解 AI 辅助开发和 RSSE 输入中的风险。
- 可信赖 RSSEs 的设计与评估
- 设计可信赖的推荐方法,以应对隐私(差分隐私)、公平性(偏见缓解)和可复现性(DataRec)问题。开发基于 LLM 的工具和原型(例如,SATD 分类、CI/CD 推荐、测试生成)。
- 开展广泛的实证验证,突出基于 LLM 的 RSSE 的有效性与局限性。
RSSE 中的人工参与
- 创建能够利用开发者输入的反馈感知型工具(例如,SATD 检测和改进的知识检索)。
- 设计机制,将用户反馈整合到 RSSE 工作流中并对其进行验证。
- 增强透明度与信任,例如通过 AI 生成代码检测(GPTSniffer)以及改进与 LLM 的交互。