企业网站设计预处理模块的构成

发布：2019-10-09 16:01:53 浏览：6670

预处理模块的构成。预处理模块由三个子模块构成,分别是页面抓取、文本内容提取、关键字提取。页面抓取的主要功用是读取用户信息库中储存的行为信息,分析用户兴趣所在,抓取相对应的页面。文本内容提取,其主要功能是将抓取到的页面信息进行过滤,去除不相关的信息,提取与页面主题相关联的内容,并将其以文本文件的形式保存至数据库,便于用户观看与查找。关键字提取,该项子功能模块会将用户行为信息进行分词,将文本中的内容以词条形式显示,并计算每个词条的重要性,依此排序,选出与词条相关的内容。