齐向东：大模型应用面临三重安全挑战

奇安信集团董事长齐向东在第八届数字中国建设峰会期间接受媒体采访表示，层出不穷的新兴场景，充分展现出人工智能大模型带来的无限生产力、创造力。但新技术是把双刃剑，大模型应用在带来机遇的同时，也面临三重挑战。一是“小数据”安全问题。传统大数据存在碎片化、质量参差不齐等问题，而大模型需要经过加工处理的“精华小数据”。一旦精华小数据被窃取、泄露或篡改，企业核心竞争力将受损。

　　二是大模型“裸奔”风险。大模型深度融入关键领域，如智慧城市、工控系统、智慧政务等，风险串联成网。奇安信监测发现，大量Ollama大模型服务器“裸奔”，存在被攻击导致业务中断的风险。

　　三是AI决策失准风险。对AI的过度依赖可能导致善恶真伪难辨，黑客可通过漏洞利用、数据投毒等方式干扰大模型决策。内部员工更新知识库时引入错误信息，也会污染模型学习环境，导致错误结论。

　　齐向东认为，筑牢AI安全底线，要把握住五个关键：构建大模型安全“红域”形成多维度边界隔离；权限强管控，以用户身份为新边界开展网络和数据安全防护；严把内容关，构建贯穿大模型全生命周期的内容安全治理机制；以实战为导向加强大模型应用安全评估；运营可闭环，做到对安全威胁的实时监测和应急处置。