大家好,我是小悟。
内容安全识别主要针对的是有UGC即用户生成内容的功能场景,通过结合内容安全的审核能力,应对文本、图片、音频内容类型下的敏感内容识别、涉黄内容识别、暴恐内容识别、辱骂内容识别等违规问题,可以提高审核效率。
这种内容安全检测功能也可以自己实现,但微信小程序有提供了文本、图片、音频内容安全识别接口。最重要的是接口免费,且频率和配额限制非常可观。
接口特点
接口识别准确度高
通过不断优化敏感样本库和深度学习技术,确保接口识别效果持续提升。
接口识别结果精细化
接口的返回结果包含综合结果和详细检测结果,除了会提供处置建议外,还会标明具体的违规类型,分数,命中所配置的自定义关键词,可以更好地满足开发者个性化的需求。
提供自定义关键词功能
开发者可进行自定义关键词库的配置,具体可操作添加相应关键词的标签、分值和处置建议,接口将识别包含自定义关键词的违规内容,可以更灵活地满足开发者业务需求。
文本内容安全识别
用于检查一段文本是否含有违法违规内容。可应用于用户个人资料违规文字检测。
媒体新闻类用户发表文章,评论内容检测。游戏类用户编辑上传的素材如答题类小游戏用户上传的问题及答案检测等。
请求参数
{
"content":"你好", //需检测的文本内容
"version": 2, //接口版本号,2.0版本为固定值2
"scene": 1, //场景枚举值(1 资料;2 评论;3 论坛;4 社交日志)
"openid": "OPENID" //用户的openid,实测无需在近两小时访问过小程序也可
}
用户的openid,实测无需在近两小时访问过小程序也可
返回参数
{
"errcode": 0,
"errmsg": "ok",
"result": { //综合结果
"suggest": "risky", //建议,有risky、pass、review三种值
"label": 20001 //命中标签枚举值,100 正常;10001 广告;20001 时政;20002 色情;20003 辱骂;20006 违法犯罪;20008 欺诈;20012 低俗;20013 版权;21000 其他
},
"detail": [ //详细检测结果
{
"strategy": "content_model", //策略类型
"errcode": 0, //错误码,仅当该值为0时,该项结果有效
"suggest": "risky", //建议,有risky、pass、review三种值
"label": 20006, //命中标签枚举值,100 正常;10001 广告;20001 时政;20002 色情;20003 辱骂;20006 违法犯罪;20008 欺诈;20012 低俗;20013 版权;21000 其他
"prob": 90 //0-100,代表置信度,越高代表越有可能属于当前返回的标签(label)
},
{
"strategy": "keyword",
"errcode": 0,
"suggest": "pass",
"label": 20006,
"keyword": "命中的关键词1" // 命中的自定义关键词
},
{
"strategy": "keyword",
"errcode": 0,
"suggest": "risky",
"label": 20006,
"keyword": "命中的关键词2"
}
],
"trace_id": "60ae120f-371d5872-7941a05b" //唯一请求标识,标记单次请求
}
音视频内容安全识别
用于异步校验图片/音频是否含有违法违规内容。可应用于语音风险识别-社交类用户发表的语音内容检测。
图片智能鉴黄-涉及拍照的工具类应用用户拍照上传检测,电商类商品上架图片检测,媒体类用户文章里的图片检测等。
敏感人脸识别-用户头像,媒体类用户文章里的图片检测,社交类用户上传的图片检测等。
请求参数
{
"media_url":"https://developers.weixin.qq.com/miniprogram/assets/images/[email protected]", //要检测的图片或音频的url
"media_type": 2, //1:音频;2:图片
"version": 2, //接口版本号,2.0版本为固定值2
"scene": 1, //场景枚举值(1 资料;2 评论;3 论坛;4 社交日志)
"openid": "OPENID" //用户的openid,实测无需在近两小时访问过小程序也可
}
用户的openid,实测无需在近两小时访问过小程序也可
返回参数
{
"errcode" : 0,
"errmsg" : "ok",
"trace_id" : "60f96f1d-3845297a-1976a3ae" //唯一请求标识,标记单次请求,用于匹配异步推送结果
}
异步结果推送
{
"ToUserName": "gh_9df7d78a1234", //小程序的username
"FromUserName": "o4_t144jTUSEoxydysUA2E234_tc", //平台推送服务UserName
"CreateTime": 1626959646, //发送时间
"MsgType": "event", //默认为:event
"Event": "wxa_media_check", //默认为:wxa_media_check
"appid": "wx8f16a5be77871234", //小程序的appid
"trace_id": "60f96f1d-3845297a-1976a3ae", //任务id
"version": 2, //可用于区分接口版本
"detail": [ //详细检测结果
{
"strategy": "content_model", //策略类型
"errcode": 0, //错误码,仅当该值为0时,该项结果有效
"suggest": "pass", //建议,有risky、pass、review三种值
"label": 100, //命中标签枚举值,100 正常;20001 时政;20002 色情;20006 违法犯罪;21000 其他
"prob": 90 //0-100,代表置信度,越高代表越有可能属于当前返回的标签(label)
}],
"errcode": 0,
"errmsg": "ok",
"result": { //综合结果
"suggest": "pass", //建议,有risky、pass、review三种值
"label": 100 //命中标签枚举值,100 正常;20001 时政;20002 色情;20006 违法犯罪;21000 其他
}
}
内容安全识别运用先进的算法与模型,如同精密的扫描仪,对海量数据进行深度剖析,精准识别并拦截潜在的风险点。
从敏感词汇的过滤,到图像、音频中违规内容的智能识别,再到深度学习技术在复杂场景下的应用,内容安全识别技术正不断进化,以适应日益复杂的网络环境。
您的一键三连,是我更新的最大动力,谢谢
山水有相逢,来日皆可期,谢谢阅读,我们再会
我手中的金箍棒,上能通天,下能探海