0898-08663552
CASE
店面展示
发布时间:2024-10-19 点击量:
文生文、文生图、文生视频模型,端侧模型、开源模型集体亮相2024世界人工智能大会暨人工智能全球治理高级别会议(简称“WAIC 2024”),展现大模型赋能千行百业的“模力”,人工智能(AI)大模型落地应用无疑是今年大会的核心议题。
随着生成式AI大模型在不同场景、不同产业中应用,模型产生与现实不符的响应(即“幻觉”,hallucination)也日趋普遍,深度伪造(Deepfake)也随之兴起,由此带来的虚假内容泛滥风险,进一步滋生了诈骗、色情等违法犯罪活动,也让人担忧。
大模型幻觉问题已成为当下AI规模化应用的拦路虎,防范深度伪造也将是AI产业兴盛不得不探讨的话题。多位受访行业专家指出,在实践中可以通过引入知识图谱、RAG(检索增强生成,Retrieval-augmented Generation)、联邦学习等新技术,解决大模型幻觉问题。而利用“黑盒”大模型、硬件或者光学辅助等多层次监管和治理,可以防控深度伪造的影响和危害。
有一种声音认为,大模型产生幻觉是不可避免的,越来越多的案例也表明大模型出现幻觉变得普遍。美国纽约市一名律师使用ChatGPT起草了一份包含虚假信息人身伤害案件的摘要而被法院罚款。斯坦福大学和耶鲁大学的研究人员在最近对三种流行的大语言模型(LLM)的研究预印本中发现,类似的错误在人工智能生成的法律输出中非常普遍。
幻觉是影响大模型落地的重要问题之一,引起了人们对人工智能系统的可靠性和可信度的严重担忧。蚂蚁集团CTO(首席技术官)何征宇对记者表示,“生成式AI要实现更广泛的应用,必须克服这一点。任何一项技术真正落地的过程中,可靠性都必须解决。一项技术如果不可靠,那么只能是实验室的产品,或是一个玩具、一个噱头。今天的人工智能90%的时间是可靠的,但是10%的时间是不可靠的,会说糊话、瞎话。如果不能克服,AI难以实现规模化的技术适用。”
幻觉之外,AI规模化应用的另一个挑战是深度伪造带来的风险。深度伪造指的是基于深度学习算法,从大量的视频和图像数据中学习,伪造出逼真的面部动画和语音。随着深度学习技术与AIGC(生成式人工智能)在视频和图像生成领域的广泛应用,当前生成视频质量越来越贴近真实视频且以更低成本普及。
深度伪造不仅增加了公众识别视频真伪的难度,也进一步滋生了诈骗、色情等违法犯罪活动的风险和隐患。国内外多份调研报告指出,近年来与AI相关的黑产活动明显上升。根据身份验证提供商Sumsub最新年度报告,2022年至2023年期间,全球多国与深度伪造相关的身份欺诈案件激增,例如菲律宾的诈骗企图数量同比增长4500%。
据央视报道,仅在2022年,美国就发生了240万起人工智能相关诈骗案。此外,利用虚拟或合成身份盗用或注册他人账号骗取养老金、骗取人寿保险等潜在风险极大。
信也科技副总裁、大数据及AI负责人陈磊在接受记者专访时表示,随着大模型的应用,可能存在隐私泄露和输出答案不正确的问题。具体到金融领域,对用户信息保护和资质评估都会带来挑战。此外,大模型还被用在不合适的场景,比如深度伪造,随着大模型生成能力不断增强,生成出来的音视频可以以假乱真,让人难以辨别真伪。
以虚假语音为例,陈磊说,大模型能够生成多种虚假语音,这些虚假语音更真实、拟人,对话流畅,为虚假语音识别带来更大的挑战。尤其在金融科技领域,犯罪分子可以通过合成语音冒用他人身份牟利,给用户和机构造成巨额损失。目前语音鉴伪技术的发展滞后于语音合成技术。这是因为声音是一维的连续信号,同时包含了口音、语调、方言等多种个人特征信息,语音处理也易受外界干扰。虚假语音的分析处理比二维图像更复杂、门槛更高,使得业界对语音鉴伪的关注度较低。
此外,小雨点集团首席技术官许慎在接受记者采访时指出,现在大模型的应用行业主要集中在“会说会写”的内容生成方面,金融行业需要大模型具备“会看会听”的能力,这是我们应用大模型的主要发力领域。数据的安全、隐私的安全,是当前真正需要迫切去解决的问题。如果这些问题解决不好,会非常影响大模型和AI技术的使用规模。
如何避免大模型出现幻觉,如何治理深度伪造问题?记者在今年大会现场找到了一些解决方案,蚂蚁展台展示了“多模态AI鉴真”互动产品,该产品具有AIGC检测和证照深度合成检测两大能力。观众可选择证照、音频、视频等多样化素材,该互动会先对这些素材做一番伪造模拟生成。之后,该产品能对上述伪造的素材快速进行精准鉴别,并形成检测报告。
在“谍影重重”互动装置前,观众还可用一场情景剧的方式打开深度伪造的攻防“魔盒”。首先,用户在该装置上传一张照片,可通过AI换脸合成一张新的人脸照片。下一步,可使用合成后的照片甚至视频去刷脸,该互动能够鉴别出该照片或者视频是否是AI合成,进而阻止风险行动。
“深度伪造的攻和防是一个相对且不断精进的过程,你在进步,深度伪造也在进步,我们要做的就是跑在它的前面”。蚂蚁展台工作人员告诉记者,在真实的生产场景,“蚁天鉴”AI鉴真解决方案支持多模态内容真实性和深度伪造检测,防范深度合成技术滥用风险,图像识别准确率达99.9%。
陈磊建议,首先,个人层面要谨慎分享个人照片、视频等,减少被用于制作深度伪造内容的风险。其次,对重要信息通过多个渠道交叉验证,不轻信单一来源。第三,技术层面看,有几个层次,一是在调用开源模型时自动生成“AI生成”的标记;二是用“黑盒”大模型对抗AI深度伪造,建立异常回收和共治生态;三是通过硬件层面和流程机制实现识别和防控,现在在活体识别中有“炫彩”功能,利用硬件或者光学辅助来制造识别环境中的扰动因素,以此来判定是否是真实人脸。
至于大模型幻觉问题,何征宇认为,这是由于当下技术不够成熟,技术是演进的,就像无人驾驶和新能源车的发展。随着技术的发展,这些问题会逐步解决。大模型本质上是概率问题,在实践中可以通过引入知识图谱、RAG(检索增强生成)等新技术,将输入和输出的知识框起来,可以解决大模型幻觉这类问题。
许慎指出,有关对待大模型应用中的幻觉问题,现阶段一大思路是模型应用上要明确责任主体,责权一旦分清楚,相应的监管框架规范清晰以后,自然而然能缓解和控制幻觉出现的影响和风险。当然,在技术层面要尽可能降低大模型出现幻觉的可能,除了模型技术本身,这背后也与数据的质和量息息相关。只有数据的数量和质量达到一定水平后,用得越多,用得越深入,才能积累更多高质量的数据,从而逐步降低大模型出现幻觉的概率,形成良性正反馈循环。
“联邦大模型技术路线通过其独特的设计,不仅解决了数据时效性、模型幻觉、专业知识融合及算力资源消耗等挑战,而且在保护数据隐私和促进AI技术公平性方面迈出了重要一步,为大模型在各领域的广泛应用开辟了新的可能。”微众银行人工智能首席科学家范力欣表示。
马上消费人工智能研究院院长陆全对记者表示,AI原生(AI Native)与风险伴生,技术发展和治理并非孤立存在的两个方面,而是一个整体系统中的不同维度,覆盖全生命周期。多智能体的AI治理路线提倡建立一个面向即时消费场景的治理框架,强调多智能体系统在AI治理中的重要性。这种框架支持不同智能体之间的协作与协调,实现更加高效和精准的AI治理。
陆全倡导构建一个开放的生态系统,鼓励多方参与,包括政府、企业、学术界和公众等,共同参与AI治理。这种新模式强调协同合作,通过共享资源和知识,实现更广泛的AI治理目标。
原标题:《大模型应用时代,如何应对幻觉、深度伪造带来的挑战? 直击WAIC 2024》QY千亿球友会app
联系球友会
Contact us
SERVICE TIME:08:30-18:30