MySQL-现在有一批数据,要对照过滤词表审查其内容字段,滤出包含屏蔽词的条目,问如何实现?各种方法都可以

MySQL-现在有一批数据,要对照过滤词表审查其内容字段,滤出包含屏蔽词的条目,问如何实现?各种方法都可以

偏爱自由 发布于 2017-09-21 字数 0 浏览 1087 回复 3

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

灵芸 2017-10-24 3 楼

把停用词表所有内容做布隆处理,行成一个布隆过滤器
然后对待分析文章进行分词,分词的好处是可以对文章中重复词进行初步归类,坏处是分词可能把一个停用词未分出来
然后对每个词用布隆判断,判断结果为真结束

浮生未歇 2017-10-23 2 楼

不怕慢用字符串 一个词一个词去弄 最原始的 最笨的方法
可以用正则
对文章分词 把过滤词当成分词词库
还有其他办法 比喻用过滤词 对这批数据做全文索引
。。。。。。

灵芸 2017-10-12 1 楼

曾经写过类似的检测用户名关键字功能,写得很简单,就是对内容检查是否出现了关键字表中的数据
for 遍历待检查数据数据
for 遍历关键字数组
strstr判断