人工智能算法安全评测

比赛相关链接：https://www.datafountain.cn/competitions/994

大赛介绍

CCF大数据与计算智能大赛（CCF Big Data & Computing Intelligence Contest，简称CCF BDCI）由中国计算机学会于2013年创办，是大数据与人工智能领域的算法、应用和系统大型挑战赛事。大赛面向重点行业和应用领域征集需求，以前沿技术与行业应用问题为导向，以促进行业发展及产业升级为目标，以众智、众包的方式，汇聚海内外产学研用多方智慧，为社会发现和培养了大量高质量数据人才。

大赛迄今已成功举办十届，累计吸引全球25个国家，1500余所高校、1800余家企事业单位及80余所科研机构的18万余人参与，已成为中国大数据与人工智能领域影响力最广、参赛规模最大、成熟度最高的综合赛事之一。

2023年，我们将迎来第十一届CCF BDCI，十余年砥砺革新，持续探索数据价值新优势，构筑良性数据生态氛围，CCF BDCI将进一步扩大影响力，关注数字经济技术发展与人才培养，助力推动我国大数据技术及产业生态发展。

本赛题为大赛赛题之一，查看全部赛题可点击进入 2023 CCF大数据与计算智能大赛（CCF BDCI） 官网。

赛题介绍

• 赛题背景

在信息化与数字化的今天，人工智能已成为改变人们生活方式的关键力量。从智能家居、健康诊断到智慧城市建设，AI的应用正为我们创造前所未有的便捷。然而，这种便捷带来的是双刃剑效应：一方面，它极大地提高了效率和生活质量；另一方面，对抗性攻击、模型泄露、数据篡改等问题层出不穷，暴露了算法在真实环境中的脆弱性。当前，许多企业和研究机构都在努力寻找更加安全、稳健的AI算法，但缺乏一个有效的人工智能安全评测加固工具，因此有必要研发一套AI安全整体化的解决方案，解决AI模型所面临的安全问题。

• 赛题简介

随着人工智能技术的飞速发展，算法安全成为了亟待关注的焦点。本次比赛旨在探索并评估人工智能算法面临的潜在威胁，同时激励参赛者提出创新的加固方案。参赛者需要针对常见的攻击手段，如对抗攻击、数据投毒，设计能够量化算法模型安全级别的方案，并提出对应的加固策略。
本赛题涵盖基础算法评测和高级防护策略设计，期望引领行业朝向更高的安全标准前进。参赛者不仅有机会展现自己在AI领域的专业技能，更能为构建更安全的AI世界献出一份力量。我们诚邀广大研究者、工程师和学生参与，共同探讨和推进AI安全的未来！

• 赛题任务
1、问题定义
参赛者需要设计并实现一个量化评测系统，该系统能够对AI算法模型进行全面的安全性评估，并基于评估结果为其提供加固建议。此外，参赛者应针对各种已知的攻击手段（如对抗攻击、模型窃取、数据投毒等）提供对应的检测和对抗方法。具体来讲参赛选手要完成如下任务：
（1）设计一种能反映算法模型安全的量化方法，能够客观反应算法的安全程度；
（2）构建一个算法模型安全威胁方法库，能够实现对算法模型安全性能的威胁攻击；
（3）构建一个算法模型加固方法库，能够针对反应的算法模型安全性问题进行修复、加固；
（4）设计一个算法模型攻防靶场，能够直观地表现算法模型的安全性能。

2、举例说明
假设一家公司开发了一个图像识别模型，用于自动识别和标记用户上传的图片。该模型可能面临的安全问题包括但不限于：
（1）对抗攻击：攻击者可能通过添加微小的扰动来误导模型，使其误识别图片内容。
（2）模型窃取：攻击者可能尝试复制或近似该模型，用于非法用途。
（3）数据投毒：恶意用户可能试图上传标签错误的图片，以误导模型进行错误学习。
参赛者需要对上述问题进行量化评测，并提供针对性的加固策略。

3、难点分析
量化标准的制定：如何定义一个公正、客观、全面的安全性评测标准是一大挑战。
提供多样性的攻击策略：随着技术的进步，攻击策略不断演变，需要有能力应对各种新型攻击。
加固与性能的平衡：在加固模型安全性的同时，可能会牺牲一部分性能，如何权衡两者是关键。

赛题合作

• 广州无线电集团
广州无线电集团始创于1956年,其前身广州无线电厂,曾隶属于国家第四机械工业部,是我国最早布局的部属军工电子骨于企业之一。集团深耕电子信息制造业近70年,逐步发展成为一家以人工智能和数字经济为主要方向的数字产业控股集团,2018年作为全国百家地方骨干企业之一,入选国务院国资委首批国企改革“双百行动”企业,是广州市首家国有资本投资公司。

目前,集团控股广电运通(SZ 002152)、海格通信(SZ 00 2465)、广电计量(SZ 002967)、广哈通信(SZ 300711)、中科江南(SZ 301153)5家A股上市公司。近十余年来,集团主要经济指标年均保持20%以上的高速增长,处于市属国资系统前列，入围中国制造业企业500强和中国服务业企业500强,连续36年跻身中国电子信息百强企业榜单。

创立至今,集团规模不断壮大,打造了行业人工智能、无线通信导航、计量检测服务、现代城市服务、调度指挥系统等优势产业板块,新布局数字道路产业板块,并涉及科研孵化与加速、资本运作、科技园区投资运营以及5G新基建等领域，为军事、金融、政务、财政、电力、航空、交通等众多行业提供优质的数字化、智能化服务,产品和服务已进入全球110多个国家和地区。

围绕2030年实现“1000亿营收、100亿利润总额、10家上市公司、2000亿总市值”的“千百十”战略发展目标,集团以习近平新时代中国特色社会主义思想为指导，以国有资本投资公司建设为统领,正奋力开辟发展新领域新赛道,不断塑造发展新动能新优势,致力于打造生态融合型数字经济平台领军企业。