“人工智能之父”杰弗里·欣顿做了个末日预言：
【资料图】
人工智能可能对人类构成巨大威胁，因为“很难找到防止坏人用它做坏事的方法”。
不幸的是，掌握人工智能的坏人，越来越多了。
高端局来了
4月20日11时40分左右，福州市某科技公司法人代表郭先生，遭遇了一场高端骗局。
一位好友，突然打了个微信视频：
“老郭，我一个朋友在外地竞标，需要430万保证金。你看看能不能先走你的公司账户，帮忙过个账？”
好友说钱已打过来，还发了银行转账底单截图。因为是视频聊天，郭先生就没核实钱是否到账，直接给对方账户转了430万。
事后，郭先生给好友打了电话，称“事情办妥了”，对方却十分惊讶，回应完全没有这回事。
9分钟，430万没了！坑了郭先生的，是一起典型的AI诈骗。
这个骗局分三步：
1，不法分子用AI机器人骚扰电话，获取目标的声音素材，然后进行声音伪造；
2，盗取目标的社交账号，寻找受害人；
3，用AI换脸技术，和受害人视频通话，博取信任，实施诈骗。
这个诈骗手段环环相扣、用时短、难防范。它标志着诈骗犯罪的升级，进入了AI智能化、定制化的时代。
传统互联网“发个语音”、“打个视频”的防诈手段，在AI诈骗面前基本失效。更可怕的是，掌握AI诈骗的骗子，越来越多了！
公开信息显示，自2021年以来多个省份都出现了AI诈骗及不当牟利案件。中国互联网协会 5月24日称，利用“AI换脸”“AI换声”等进行诈骗、诽谤的违法行为屡见不鲜。
AI诈骗不只盯着数百万的“肥肉”，几千元的“苍蝇肉”也来者不拒。假扮大学同学、亲戚、供货商等视频借钱案件，层出不穷。
如果觉得从不借钱便不会中招，就太天真了。
当骗子伪装成领导，以汇款、资金周转等紧急理由，要求下属立即转账，很少有人能顶住压力。更有甚者，骗子直接伪造子女、父母车祸入院等借口，利用亲人感情实施欺诈。
2006年，搞了20多年的中国台湾诈骗集团，把目光投向互联网普及不久的大陆。他们在东南亚等国家建立诈骗基地，招募员工进行人设、话术包装的统一培训。
最终，诱导恋爱或裸聊的“杀猪盘”、非法买彩票、网上赌场、借贷骗局等发明，开始横扫内地。
电信诈骗，由此成了悬在14亿人头顶的一把利刃。甚至有人戏称，从未接到过诈骗电话的，都有可以去买彩票的运气。
不过，大部分人仍对电信诈骗，没太大概念。传统认知里，其受骗对象多是经不起诱惑、社会经验少的“冤大头”，以及一些不常上网的老年人。
比如上世纪80年代最知名的尼日利亚王子来信，以及最近令人笑掉大牙的“上门枪毙”通知短信。这些夸张剧本，似乎只为筛选那些“缺乏基本辨识能力”的群体。
但正如微博大V@全民防诈骗所说：“你目前还没被骗，并不是因为你多聪明，也不是因为你没钱，而是适合你的‘剧本‘还在路上。”
只要给几张照片和几秒语音，就能复刻出“假人”的AI诈骗，以细思极恐的手段，让每个人都可能难逃一劫。
据湖北网警巡查执法公布消息，AI技术新骗局诈骗成功率竟接近100%，其成功率之高、涉案金额之大、诈骗速度之快令人咋舌。
比如安徽安庆经开区发生的一起AI诈骗案中，诈骗分子只用一段9秒智能AI换脸视频佯装“熟人”，就顺利从受害人手上骗走245万元。
更令人毛骨悚然的是，信息泄露、隐私不安全的普遍现实，为AI诈骗造就了“天然温床”。
2月15日，一则“几乎无人幸免，疑似45亿条电商或快递信息泄露”的消息，冲上热搜。有网友称，“自己10年前的收货信息，都被扒出来了。”
对此，人们忍不住吐槽道：“要有多强的防范意识，才能想到跟你视频通话的亲友，不是一个大活人啊？要有多强的隐私意识，才能保证自己信息不泄露或被窃取？”
AI诈骗的降维打击，也引发了社会的广泛关注和部分恐慌情绪。“AI诈骗在全国爆发”的话题，一度登顶热搜，引爆超2亿阅读。
随即，公安部门专门进行了辟谣，称AI诈骗案件目前占比仍较低。同时，承诺已注意到此犯罪新手法，并将加大力度开展技术反制和防范宣传。
数据显示，公安机关2022年全年破获电信网络诈骗案件46.4万起，紧急拦截涉案资金3180余亿元。从诈骗案件量级及涉案金额来看，其仍然是一块社会“顽疾”。
一个悲观预期是，新型AI诈骗的降临及加速迭代，可能让“人人警惕，全民反诈”，成为未来社会不得不面对的严峻问题之一。
全球大爆发
4月末的一天，美国一位叫詹妮弗·德斯特凡诺的母亲接到一通陌生电话。
“妈妈，救命！”大女儿布里安娜，似乎陷入了大麻烦。
詹妮弗吓呆了，一个低沉的男人声音威胁到：“如果你打电话报警，就永远别想再见到她了！”
挂断后，身边朋友劝她报警。詹妮弗却急着给赎金，因为“女儿”的哭泣声实在太真实且撕心裂肺。幸运的是，女儿正好打来电话，骗局“不攻自破”。
但心有余悸的詹妮弗，仍无比惊讶：“就算隔一栋楼，我也不会认错自己孩子的哭泣声。”
詹妮弗绝对想不到，突飞猛进的AI技术，早已比一个母亲更了解自己的孩子。而骗子支付的代价，可能还不到每月5美元。
2017年，名为“Deepfakes”的社交网站用户，利用AI技术发布了将色情演员换脸成盖尔·加朵、泰勒·斯威夫特、斯嘉丽·约翰逊等名人的视频片段，引发轩然大波。
此后，AI换声及换脸技术进入大众视野，并被称为“深度伪造”（Deepfake）。
2018年，美国不法分子还主要通过使用非法机器人呼叫，伪装成慈善机构或谷歌数据服务代理，进行诈骗。
但机器人语音系统，往往存在卡顿、音色机械化、多轮对话“鬼打墙”等问题，“唬人”能力有限。
此后，AI换声迅猛发展到克隆级别。2019年3月，一诈骗犯冒充一家英国能源公司大老板，强势要求公司CEO立即将22万欧元，转到匈牙利的供应商银行账户。
这位高管毫不犹豫照做了，因为大老板的语调一如平时，甚至连他“微妙的德国口音”也毫无破绽。这一事件，被认为是全球首例涉及人工智能的诈骗案。
其实，AI技术流行的美国、欧洲等发达国家，AI诈骗也早已一马当先。
过去一年里，美国AI诈骗同比上涨了50%到75%。美国联邦调查局年度报告显示，2022年美国网络诈骗损失达103亿美元，创五年来新高，面向老年人的AI语音骗局则是重灾区。
世界经济论坛研究与分析主管布鲁内曼称，“在过去一年里，26%的小公司和38%的大公司经历过深度伪造欺诈”。她甚至预测到2026年，超90%的网络攻击内容都将是AI合成。
AI技术快速升级，不仅让换声、换脸越来越以假乱真。相应的，AI诈骗技术的门槛和成本，却在不断降低。
美国加州大学伯克利分校教授法里德表示，AI声音合成一两年前还需要大量音频数据，现在仅需十几秒的短视频或录音。收集人脸信息则更简单，一张照片就可实现。
相应的AI程序使用费，却仅需每月5美元到数百美元不等。恐怖的是，任何人都能由此进行不法活动。
AI诈骗受害对象从老年人到精英人群，从普通人到明星偶像无所不包，甚至章程规范的商业公司、学校机构，也极易中招。
智能化程度更高的AI技术，还使得骗局变得花样更多、更难防范。
通过信息收集及大数据分析，AI可以智能筛选出“易骗人群”。比如进行金融诈骗时，经常搜集投资信息的人群会成为潜在目标。
甚至，AI还能分析目标的社交网络，进而掌握其个性化表达方式、人际关系、兴趣爱好等生活习惯，实现“诈骗剧本”定制化。
法里德惊呼：“这很可怕，就像一场完美的风暴，具备了酿成大祸的所有条件。”
更可怕的是，尽管风险显而易见，AI语音及视频合成技术却仍在狂奔。科技巨头的AI竞赛，也在持续加码。
今年1月，微软团队发布了AI语音合成模型VALL-E。只需3秒指定素材，即可精确地模拟说话者声音，甚至连环境背景音也能准确还原。
AI签名、AI声音克隆、AI换脸……这些新技术，本来是创造美好和便利的象征。
但当这类高端技术变得廉价且轻易获取，并被不法分子恶意利用时，无数人和机构的财产、信息及现实安全却形同“裸奔”，又会是多么巨大的风险？
全球大爆发的AI诈骗，无疑给人类敲响了警钟。
没有真相的时代
“现在已经到了，大规模、集中化讨论AI风险的关键时刻”，清华大学教授沈阳如此呼吁。
其实，对AI诈骗的警惕与治理方案，早已在路上。
美国安全中心发布的《人工智能与国家安全》，明确将人工智能伪造技术列为威胁国家安全的重点技术。中国也开始通过政策管理和技术限制等途径，来应对其潜在安全风险。
但AI诈骗，似乎是打不死的“小强”。
比如美国联邦贸易委员会近年来加强了对非法机器人电话的监管行动，但数据显示，2019年美国境内民众接到的“机器人骚扰电话”总数超过500亿个，即平均每个美国人每月至少接到15个“机器人骚扰电话”。
一个怪圈出现了——美国不断升级法案打击电信诈骗，机器人来电数量却屡创历史新高。
根本原因，还是法律法规制定、推广的护栏建设速度，赶不上AI技术迭代和传播速度。产业、大众对AI危害的反应，也很容易慢半拍。
甚至于，AI骗局已经超出“诈骗”范畴，蔓延到人类社会的各个角落。
3月份，一组由Midjourney生成的特朗普“被捕照”传遍全球。一觉醒来，人们看着这位美国前总统被警察包围并按倒在地的狼狈状态，深感不可思议。
但这，不过是一网站创始人艾略特·希金斯精心制作的“AI假照片”。尽管他的账号被查封，人们当时无比真实的震撼和惊讶，却因此成为“笑话”。
这更像是，AI骗局对人类分辨能力和真实情感的“嘲弄”。很快，人们又经历了更严重的被戏耍。
5月22日，一张五角大楼附近发生爆炸的照片，广泛流传。这张虚假照片的出圈，甚至导致标普500指数瞬间从涨转跌。
在国内，假新闻、假图片案件也甚嚣尘上。
5月7日，甘肃省平凉市公安局网安大队成功破获了一起AI造假案件。不法分子利用ChatGPT，伪造了一条“今晨甘肃一列火车撞上修路工人，导致9人死亡”的虚假新闻，即刻获得超1.5万次点击量。
5月24日，科大讯飞受一篇名为《科大讯飞出现重大风险的警示文》的文章影响，股价也迅速跳水。公司紧急回应称，股价下跌系某生成式AI写作虚假“小作文”导致。
人们越来越惊恐地发现，自己被AI置身于一个“没有真相的时代”。
造假，甚至成为某种普遍且必要的“谋生手段”。一项国外调查报告指出，全是由AI生成的假新闻网站已有49家之多。且这些信息受众并不少，粉丝大多超10万量级。
无处不在的造假热潮，更让无论是普通人还是明星都难以阻挡。
一边是，几十元的“AI换脸教程”大行其道；一边是，在地铁上被“AI一键脱衣”造谣的女性，无力申诉。伪装成“杨幂”“迪丽热巴”“成龙”等明星的直播带货，更肆无忌惮。
面对铺天盖地的“AI孙燕姿”合成视频，佛系的孙燕姿无奈表示，“你跟一个每几分钟就推出一张新专辑的‘人’，还有什么好争的？”
真相被“捏造”已经够可怕，人们无力分辨则让现实变得愈发混乱。
4月13日索尼世界摄影奖颁奖礼，大奖得主却冲上舞台夺过话筒，悲愤地说这是AI伪作。他的反问发人深思，“如果索尼世界摄影奖的评委都分不清真假照片，其他人还能怎么办？”
当AI骗局从专业级走向“平民化”，熟悉的亲友、日常的新闻、权威的知识、眼见为实的原则甚至是集体记忆等，原本刻在骨子里的“确信”都在被逐一颠覆。
AI监管，由此愈加任重道远。毕竟人类不能没有真相，就像时钟不能没有指针。
参考资料：
[1]《AI换脸风暴：骗局、产业与技术防守》36氪
[2]《“AI换脸”诈骗，怎么防？》人民日报
[3] 《警惕！美国发生多起AI语音诈骗案件，联邦机构将加强监管》第一财经
