文档介绍：微信公众号信息采集产品简介: 微信公众号信息采集(微爬虫)系统,是由厦门数腾信息科技有限公司研发的,专注于微信公众号的搜索、监控、采集及分类筛选的系统。该系统在移动互联网领域信息采集、信息监控方面的全新产品,具有公众号覆盖全面、公众号信息采集快捷、多维角度分类筛选等特点。公司简介: 微信公众号信息采集(微爬虫)系统是由厦门数腾信息科技有限公司所研发的,是国内权威的大数据爬虫系统、互联网商业情报挖掘系统及舆情系统软件的研发机构。公司拥有多年的互联网数据挖掘与信息处理经验,在互联网信息抓取、自然语言分析和数据分析方面有深厚的技术背景。厦门数腾信息科技有限公司团队包含各个领域的专业人员和互联网技术专家,有睿智的市场策划团队、优质的测试团队、专业的调研团队以及经验丰富的程序和客服人员等。数腾软件成立至今,一直致力于舆情监测相关技术的研发与创新,为政府、企业、机构以及各类组织提供全方位的舆情监测、分析报告、危机预警和互联网危机公关处理为一体的整体解决方案。主要功能: 1、关键词管理:创建关注的关键词、系统将自动搜集及监控含有此类关键词的微信公众号。 2、公众号查询:查询具体关注的公众号,系统自动运算公众号的发文频率。 3、文章查询:文章内容检索。大数据支撑平台: 平台包括:调度监控引擎、 UIMA 流计算平台、分布式计算平台、发布工具和建模工具。数据分析: 1、非结构化数据抽取:网页上的信息多为非结构化文本数据,通过独特的数据抽取技术,能转换为结构化的可索引结构;并支持文档矢量化特性,供各类文本分析算法使用。 2、互联网网页智能清洗:普通网页上超过 70% 为杂质信息,通过适用于网页的智能清洗技术,我们可以获取到准确的标题、正文等关键内容,排除掉各类网页广告和无关信息,提高阅读及分析精度。 3、网页模式挖掘:对同一类的网页,系统可以自动发现其模式,并根据该模式进行清洗及信息提取。我们拥有完全无监督的机器学****算法,极大的提高了生产力及客户操作的便利性。 4、指纹去重及转载分析:每一篇文档都拥有其特征,我们将其特征编码为语义指纹,存储在系统中; 通过比对指纹,可以获得重复信息,并跟踪同样文章的转载情况。对于更为复杂的应用场景,同样支持基于文本相似度的比对算法。 5、文本相关性挖掘:在内容发布网站、网页广告、文档库、案例库等应用中,有时需要提供与当前