作者：周鸿祎 360集团创始人、董事长兼CEO，CAAI人工智能与安全专委会主任；全国政协委员、“九三”学社中央科技专门委员会副主任。首创的“免费安全”模式，颠覆了传统互联网安全行业，改变了中国的互联网市场格局，提升了中国互联网安全的整体水平。

近年来，在人工智能快速发展的同时，面临的安全问题也越来越突出。现实世界中，我们已经看到针对物联网、智能家居、无人驾驶汽车等AI系统的攻击不断出现，人工智能用于网络攻击、网络犯罪的事件也时有发生。习总书记强调，要确保人工智能安全、可靠、可控。人工智能和安全是一体之两翼、驱动之双轮，需要有机结合、协调发展。没有安全，人工智能就难以持续健康的发展；反过来，安全也需要人工智能赋能，才能更好地解决未来智能社会的复杂安全问题。

人工智能带来的安全挑战人工智能的安全挑战可以归纳为三个方面，一是人工智能技术自身不完善引起的安全问题；二是人工智能被不当使用带来的安全问题；三是人工智能终极进化的风险。

1. 人工智能自身安全隐患人工智能的三大核心是数据、算法和算力，可共同作用于不同层面的应用场景，然而由于人工智能自身存在的网络安全风险，可导致AI系统工作紊乱，甚至被黑客控制。

（1）数据采集和利用过程不安全

AI广泛依赖音视频采集、红外感应、激光雷达等各类传感器，但这些传感器自身并不安全，被干扰后，造成AI识别和决策失误。比如，攻击者用10元钱买个小孩用的激光笔，对着智能汽车的激光雷达乱照，就可能突然导致停车被追尾；同时，对智能汽车还可以进行GPS欺骗。360研究人员曾利用千元民用级别的设备，实现了对无人驾驶车、无人机等GPS设备的欺骗，使它们产生错误判断。

另外，很多人工智能都要靠海量数据训练。如果数据被污染，就可能“垃圾进，垃圾出”。攻击者通过构建畸形或者污染的训练数据，可以导致人工智能学习出错。比如，微软的聊天机器人Tay就是由于收到了大量“污染”数据，在上线16个小时后就“学坏”了，不停地吐脏话。

（2）人工智能算法不完备

现在很多人工智能系统都采用深度学习模型，其内部复杂的计算逻辑和决策过程并不透明，我们只是给了它们很多数据，然后由AI给出结果。对于这种开放网络，内部算法有可能被欺骗。

最近研究人员发现，基于AI的人脸识别技术就存在先天缺陷。比如只要把一种奇怪的条纹打印下来，别在衣服上，就能“屏蔽”人脸识别系统，出入自由。以小见大，一些无人驾驶汽车，可能也会被马路上“奇怪”的符号误导，导致严重交通事故。

（3）算力背后的软硬件有漏洞

人工智能算力离不开背后大量软硬件的支撑。但是，软件只要是人写的一定会有错，有错就有漏洞。据全球公认的数据，在1 000行软件代码中就一定有4~6个漏洞；是漏洞就可以被黑客利用，引发严重后果。

比如，现在AI系统大都是基于Tensorflow、Caffe等开源软件框架实现的，360已经发现这些开源软件框架存在60多个漏洞，可以导致数据泄露和远程劫持。2020年2月，国内一家AI企业就发生了大规模数据泄露事件，超过680万条数据疑似泄露。前几年，美国IOActive公司在初步测试市场流行的几款机器人中，发现近50种漏洞可被利用，如通过漏洞远程控制一款UR5协作机器人，让它剧烈的胡乱摇摆，产生的力量足以打断人类颅骨。

1. 人工智能滥用已经凸显除了人工智能自身不完备可能带来的安全风险之外，它也可能被滥用做坏事。

（1）最大风险是增加了很多无人值守系统的危险

现在越来越多的无人机、巡航导弹、智能地雷、智能鱼雷等自主武器系统走向战场，人工智能已经使传统战争形态发生了极大改变。问题是一旦这些武器从过去扳机由人控制，变成了扳机由AI控制，将引起很大问题。

这些自主武器可能被黑客“劫持”，自己发现目标和自动射击，造成可怕后果。比如2019年8月，委内瑞拉总统马杜罗在首都出席一场军队纪念活动时，遭到装满炸药的无人机袭击，造成7名士兵受伤，说明将AI用作杀人武器已成为现实。

再比如，2020年3月，埃塞俄比亚航空公司发生波音737MAX坠机事件，根本原因就是在人与机器（机动特性增强系统MCAS）谁对操纵负有决定权的“搏斗”中，人类输给了机器。未来无人车、无人工厂、无人码头等众多无人值守系统一旦AI出错，最后的决定权应该留给机器还是人，值得深思。

（2）AI提升了黑客对抗和网络武器攻击的能力

黑客可以利用机器学习辅助创建逃避安全检测的恶意软件。比如，利用人工智能攻击僵尸网络识别器，通过自动生成逃避检测的域名，防止被机器学习算法检测出来。

人工智能还使得网络武器的制作、分发和执行等流程自动化，大大提升攻击效率。更为棘手的是，这些自动化网络武器容易在地下交易，一旦被恐怖组织获取，将给安全带来重大威胁。

（3）AI滥用可能会危害国家和社会安全

AI可以精确地进行个人画像，再结合社交网络强大的煽动能力，甚至能影响政治格局。去年Facebook公司8 700万用户数据泄露，影响美国总统选举的事件，已经显示出了一些端倪。

AI也使得网络欺骗更加难以识别。最近，美国已经有人利用AI将色情视频里的女主角换成女明星，这一技术正引发恐慌，遭到美国政府查封。AI降低了每个人的做假成本，未来可能会出现许多假新闻、假视频，颠覆了我们过去“百闻不如一见”的固有观念，对人类生活带来严重冲击。

（4）AI可能给经济带来负面影响

今天很多行业纷纷搞无人商店、无人超市、无人餐厅，利用机器人为用户提供服务。未来AI可能不再局限于替代人类的手足和体力，甚至可以部分替代人类的大脑，使得许多从业者面临下岗威胁。

《未来简史》作者赫拉利预言，二三十年内超过50%工作会被AI取代。可以想象，如果相关岗位人员不能通过新技能的学习实现岗位转换，将会造成大量失业，造成严重的经济问题。

（5）AI会冲击伦理道德和社会秩序

AI可能让人类产生严重情感依赖，习惯于智能陪伴机器人的体贴和顺从，甚至放弃正常的异性交往，放弃组建家庭。

此外，AI在解放生产力，提高人类物质生活的同时，还可能会冲击现有社会秩序。美国生态学动物行为学家卡尔霍恩曾做了一个鼠辈乌托邦实验，结果发现在衣食无忧的理想乐园里，整个老鼠群体走向灭亡。这提示我们，AI或许可以帮助人类衣食无忧，但却可能导致人类社会秩序崩塌。

1. 人工智能进化成超智能的风险现在人工智能的发展十分迅速，尽管现在的AI只是一种用大量数据训练出来的概率判断系统，并非基于规则，还只是弱智能。但未来有一天，它会不会自我学习、自我进化，演化成具有自我意识和情感的超智能？

2017年8月，Facebook公司的两个机器人突然开始用自己的语言交流，而人类并不知道它们在讲什么，因为怀疑是机器自我演化的结果，Facebook决定关停整个AI项目。

今年1月，谷歌最新AI程序AlphaStar在与“星际争霸2”人类职业选手的比赛中，以两个5比0轻取两位人类选手，更增添了人们对未来机器智能进化的忧虑。如果进化出的超智能决定毁灭人类，会不会成为人类的终极风险？

关于AI未来的发展充满了无数争议和不确定性。在我们看来，很多因素决定了AI难以取代人类。

一是能量消耗问题。比如AlphaGo战胜了李世石，但是当时的AlphaGo由1 202个CPU和176个GPU构成，一场比赛的处理器耗能就达到3 000兆焦耳，再加上存储系统、制冷系统等的耗能，平均消耗的能量是人类的上千倍。今天的人工智能和深度学习别说模拟人，就是真正模拟一个老鼠（耗能不到1瓦），也需要一个城市的电力。如果AI真能模拟出人大脑的能力，可能需要给它建一个核电站。

二是机器不会产生意识。近年来AI的突破主要得益于算力和大数据的提升，但真正的智能还和人相去甚远。人类的大脑极其复杂，人类对自己大脑的认识、对自我意识怎么产生等，都还没有弄清楚，更不要说模拟人的大脑做出具有自我意识的机器人了。

三是机器是人类的工具。工具只是人类拳头的扩大、手臂的延长。虽然机器越来越智能，但是它也只是高级工具，只是能将人类从重复性劳动中解放出来，使人类投入到更有创意的活动中。如果我们提早采取一些措施（如给AI系统设置“紧急终止”按钮、进行功率限制等），就可以防范AI对人类的威胁。

综上所述，人工智能并不像人们想象得那样美好。它在提高人们生产生活水平的同时，也可能带来各种安全隐患，甚至成为人类安全的杀手。人工智能和安全防护需要协调发展、双轮驱动。

利用人工智能解决安全问题上面列举的都是人工智能可能带来的负面问题。但人工智能本身也是一把“双刃剑”，通过AI赋能发挥“领头雁”作用，可以更好地解决从国家安全、城市安全等不同层面的安全问题。

1. 融合大数据、人工智能和安全专家构建国家网络安全大脑近几年网络安全已经从单纯的电脑杀毒、信息安全、电脑安全，上升为国家安全，网络安全进入大安全时代。网络战成为网络安全的最大威胁。可以说，大安全时代就是一个网络战的时代。最近的中美贸易战也表明，贸易战之后就是科技战；科技战之后很可能就是网络战。

网络战时代，我们面临着一些重大挑战。一是对手变了，从过去的“小毛贼”变成有国家背景、政治目的的网络攻击组织；二是对象变了，网络战不分军民，首选电网、水利、机场、工厂等关键基础设施；三是范围变了，网络战攻击已扩展到政治、军事、经济、社会等各个领域；四是假设变了，由于漏洞无处不在，导致没有攻不破的网络，不能再幻想御敌于国门之外，而要在假设敌人已攻到内部的前提下做防御；五是方式变了，过去网络攻击主要是病毒、木马，现在的网络战是超限战，无所不用其极。

面对这些重大挑战，亟需一套基于“大数据+人工智能+安全专家”的全新战法，目标是敌人进来能很快发现，在发生网络战时能看见、能指挥、能练兵、能检验、能加固，做到查打防一体。

首先，要依靠大数据“看见”网络攻击。打网络战如果不能先“看见”攻击，就是在盲打。“看见”攻击必须依靠大数据，这些大数据是多维度、海量、实时、鲜活的。现在，很多企业推出的态势感知系统其实就是可视化的动画系统，起不到多大作用，因为没有大数据的支持。

其次，依托人工智能提高网络安全的自动化、智能化水平。反病毒时代，安全数据规模较小，靠人就可以安全分析。但是进入网络战时代，海量大数据的分析单纯依靠人力已经难以为继。近年来，人工智能在算法、算力上的进步，已经可以赋能到网络防御，有效提升网络安全从智能化响应和处置能力。

此外，还要安全专家和AI协作开展网络防御。网络攻防本质是人和人的对抗。在网络战中，安全专家通过群体智慧发挥核心作用。虽然AI是重要的辅助手段，但网络防御最终还是靠安全专家积累的安全经验，通过人机协作解决问题。比如，美国的Palantir公司拥有4 000名数据专家，AI与安全专家在共同工作。

按照上面的战法，我们希望为国家打造一套覆盖整个网络国土的全新防御系统；我们不再寄希望于御敌于国门之外，而是在网络空间里建立一套类似全网雷达反导系统（称为网络安全大脑），利用它先清楚地看到网络里发生了什么事，然后再谈预警、溯源、止损和反制。

这方面，美国和我们有相同的认识。美国早就在开始建设类似网络安全大脑系统。比如，美国“爱因斯坦计划”“持续诊断与缓解项目”就是国家级的网络安全监测防护系统；谷歌去年新成立子公司Chronicle Security，利用先进的人工智能技术快速发现并阻断网络攻击；微软也宣布将利用AI处理全球超过10亿设备获取的大数据，应对网络威胁。

360过去几年已经构建了一个网络安全大脑的原型，初步解决了习总书记说的“谁进来了不知道、是敌是友不知道、干了什么不知道”的问题。360近年来运用安全大脑发现了来自境外的40个APT攻击，验证了这个思路的可行性。

需要强调的是，网络安全大脑不是一个特殊的程序，也不是一个完整的解决方案，它不是要取代现在的安全解决方案（不是试图取代IDS、防火墙、防病毒等传统安全厂商的软硬件产品），而是对现有网络防御体系的一次大升级，通过它把网络空间的黑天鹅变成灰犀牛，提升网络安全重大风险防范和应急处置的能力。

1. 建设城市安全大脑，保障智慧城市安全我们用人工智能来解决安全问题，不要只局限在网络安全领域。今天在智慧城市、智慧社区里，物理安全、公共安全已经变得很重要，但安全问题也日益突出。

比如，城市联网设备越来越多，到2020年全球有超过500亿的设备会连到互联网上，每个设备都可能成为攻击的切入点，基本上防不胜防。此外，对交通、消防、社区等传统安全问题的预警处置能力不足。以电梯安全为例，全国至少有700万电梯，虽然有维护人员周期性巡检，但电梯吞人的事件时有发生，现在只能在事后侦查追责，却没有一个很好的技术手段进行预防。

针对这些突出的城市安全问题，人工智能也可以发挥重要作用。通过将AI与移动通信、大数据、边缘计算等新技术相结合，整合IoT设备、IT系统和安防系统，建设城市智能安全系统（称为城市安全大脑），解决好城市交通、消防、危化品管控、电梯安全、社区防盗等安全问题。

通过城市安全大脑，我们第一次有能力对城市的运转做出判断，对危险和安全威胁做出预警，及时通报城市运转的异常情况。比如针对电梯安全问题，如果我们给每部电梯都安装一个传感器，就能实时侦测电梯的压力、速度、噪音，这些大数据有了之后，城市安全大脑就能对电梯的异响及时做出判断和告警，也可以最大限度避免事故的发生。

再比如，近年来我国多个城市发生乘客抢夺公交车方向盘的事件，甚至有车辆坠到长江，严重危害公共安全。如果我们对营运车辆都安装智能摄像头，它可以接收车上的声音、图像，智能识别车上发生的吵架、打架等危及安全的事件，及时制动车辆并通知附近的交通执法部门，那么这样的悲剧就可能避免。

1. 产学研合作，共建安全大生态未来，上到国家安全，中到城市安全、日常生活安全，再到每个人的人身安全，都与人工智能离不开，建设各级各类安全大脑更需要政府、科研院所、企业和行业等各方力量的紧密合作。我们希望将自己的数据、技术、产品和服务输出，赋能到网络安全及其他垂直行业，与业界共建安全大生态，真正形成良性的产业循环，为智能社会保驾护航。