#每日一书#

5.21 人工智能安全

此书出版于2020年，我算是这本书的首批读者，当时因为这本书的主编本身有一些争议，还发了一个朋友圈。

这本书主要是提出了一个人工智能安全的体系架构，主要有三方面的内容，包括人工智能助力安全，人工智能内生安全，人工智能衍生安全。书中还简单介绍了包括人工智能的发展史，世界各国的人工智能战略，人工智能前沿的一些技术和人工智能安全的未来发展等主题。

人工智能助力安全 AI for Sec

人工智能助力安全，就是用AI来赋能安全，包括防御和攻击。

对于防御者来说，可以利用AI来提升和扩展原来的防御能力，包括做智能安防，智能入侵检测系统，检测恶意代码，异常检测等等非常多的应用。

在攻击者角度的话，可以实现自动化的漏洞挖掘，构建智能恶意代码，为神经网络植入后门，自动构建钓鱼邮件，还包括生成高逼真的假音视频等等。AI助力攻击已经渗透到攻击的完整攻击链，AI还被用于发动恐怖袭击，引导舆论等有军事或者政治企图的新行动中。

人工智能内生安全 AI Sec

人工智能内生安全就是AI系统的本身安全，AI系统现在存在脆弱性，包括框架组件，数据，算法，模型等，这些环节都可以给系统带来脆弱性。

框架组件方面，TF，Numpy等框架被爆出一些漏洞，给系统带来一定的风险。

数据方面，我们需要保证输入数据的正确性，包括训练数据和推理数据。AI系统高度依赖数据的正确性，数据的丢失，噪声输入都可以给系统带来严重干扰。

算法方面，很难保证算法的正确性，神经网络是个黑盒子，预测能力强，但是缺乏解释性。对抗样本就是利用算法的缺陷来攻击的一种技术。

模型方面，很难保证模型不被窃取或者被污染。模型是一个实体文件，就存在被窃取和被植入后门的安全风险。

人工智能衍生安全 AI safty

人工智能衍生安全是指由于AI系统的自身脆弱性导致危及其他领域的安全。包括以下这4个方面。

AI系统因存在脆弱性而被攻击

AI系统因为自身失误引发安全事故

AI武器研发可能导致国际军备竞赛

AIA（人工智能行为体）一旦失控将危及人类安全

只要涉及到AI的，都算是AI衍生安全。

观点

这本书，看得我比较纠结。我从2017年开始研究AI安全，主要是研究AI系统本身的安全，看这本书主要是想从大的AI安全体系结构上来学习。确实这本书的内容不少，参考文献也非常多，但都是偏概述和政策叙述。注意这本书并不是技术实战的书，涉及到的技术都在只是一笔带过，可以当科普书来读。

如果你想知道是怎么攻击和防御的，那不必读这本书。如果你想从更大的层面来看AI安全，那这本书还可以读读。里面提到的概念，多去扩展理解。书中例子非常多，AI安全的资料引用非常全，不是一般的白皮书可以比的。希望大家读了都有AI安全的大局观吧。

我在知乎上对AI安全工作的回答：www.zhihu.com

此笔记链接：mp.weixin.qq.com