据《新华社》报道，通过AI换脸和拟声技术，10分钟骗430万元；AI虚拟人在聊天中筛选出受害者，人工接力实施诈骗……近期，多起宣称利用AI技术实施诈骗的案件引发关注。记者近日与公安部门核实确认，“AI诈骗全国爆发”的消息不实，目前此类诈骗发案占比很低。但公安机关已注意到此犯罪新手法，将加大力度会同有关部门开展技术反制和宣传防范。

2023年4月，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》，其中提到，“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。”

AI造假乱象所带来的网络安全问题引发市场关注，上市公司在AI安全领域积极布局。

美亚柏科（300188.SZ）：在AI监管产品方面，公司已经发布了AI-3300“慧眼”视频图像鉴真工作站，可以对深度合成伪造的视频图像、AIGC生成视频图像进行监测鉴定；公司推出的AIGC检测平台支持AIGC生成文本的检测识别。后续公司将持续围绕包括反生成式AI在内的AI安全及监管领域进行研究并根据业务需要适时布局相关产品。

深信服（300454.SZ）：5月18日举行产品发布会，发布深信服安全GPT，该产品不依赖其他开源模型，由深信服自主训练，并部署于深信服托管云，实现完全自主可控。

天融信（002212.SZ）：在投资者交流会上表示，公司在恶意样本、风险信息、威胁知识、安全情报等方面具有多年的海量安全数据积累，提前布局人工智能领域的研究与应用。已发布了融入AI技术的防火墙、入侵防御、僵木蠕、沙箱、大数据分析、态势感知、EDR、数据防泄漏等多款创新型产品。未来将推出更多赋能网络安全行业的产品与服务。

绿盟科技（300369.SZ）：公司在AI安全领域已布局多年，主要围绕两个维度：一方面是利用大数据、人工智能等技术赋能公司原有产品，另一方面是关注AI发展和应用自身面临的安全风险问题。