1 / 3
文档名称:

文本的空间向量表示模型.docx

格式:docx   大小:26KB   页数:3页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

文本的空间向量表示模型.docx

上传人:guoxiachuanyue002 2022/5/26 文件大小:26 KB

下载得到文件列表

文本的空间向量表示模型.docx

文档介绍

文档介绍:文本空间向量模型的主要思想是:将每一个文本表示为向量空间的一个向量,并以每一个不同的特征项(词条)对应为向量空间中的一个维度,而每一个维的值就是对应的特征项在文本中的权重。向量空间模型就是将文本表示成为一个特征向量:
V(d)二((t,w文本空间向量模型的主要思想是:将每一个文本表示为向量空间的一个向量,并以每一个不同的特征项(词条)对应为向量空间中的一个维度,而每一个维的值就是对应的特征项在文本中的权重。向量空间模型就是将文本表示成为一个特征向量:
V(d)二((t,w),(t,w(t,w))
1122nn
其中t(i二1,2,...,n)为文档d中的特征项w为t的权重,一般取为词频的
iii
函数。
一般选取词作为文档向量的特征项,最初的向量表示完全是0,1的形式,即如果文本中出现了该词,那么文本向量的该维为1,否则为0。这种方法无法体现这个词在文本中的作用程度,所以逐渐0、1被更精确的词频代替,词频分为绝对词频和相对词频,绝对词频,使用词在文本中出现的频率表示文本,相对词频为归一化的词频,其计算方法主要运用TF-IDF公式,目前存在多种形式的TF-IDF公式。
在向量空间模型中,两个文本d和d之间的相关程度可以用它们之
12
间的相似度来度量。当文本被表示为向量空间模型中的向量时,我们可以借助于向量之间的某种距离来表示文本之间的相似度,通常用向量之间的内积或者用夹角余弦值来表示。
根据以上理论的指导,我做了如下实验。选取词作为文本向量的特征项(预先把中文词汇的停止词去掉,比如标点符号,啊,阿,哎,哎呀等)。文本向量权重的选取为特征词在文本中出现的次数。两个文本间的相似度用夹角的余弦值表示。比如连个文本D二{iphone5s,16G},文本
1
D={iphone5s,16G,电信版},文本D={iphone5s,16G,移动版}。现在计算D和
231
D之间的相似度。
2
步骤一:得到两个文本特征项集合的并集{iphone5s,16G,电信版}
步骤二:D的向量表示{1,1,0}
1
步骤三:D的向量表示{1,1,1}
2
步骤四:根据向量余弦夹角公式cos0=二计算两个文本的相似度。
IIvIllivII
12
步骤五:保存结果。
实验结果D,D的相似度为,D和D的相似度为0.。
1223
主程序流程图:
用特征项表示各个文本
用特征向量表示各个文本
计算所有文本间的相似度
结束
这个程序还比较简陋,里面还存在一些问题,只是一个入门程序,现在正在研究TF-IDF公式。TF是词频,不同类别的文档,在特征项的出现频率上有很大差异,因此特征项频率信息是文本分类的重要参考之一,一般TF较大的特征项在该类文档中具有较高的权重,也就是说如果一个词有某类文档中经常出现,那么

最近更新

2025年1型糖尿病急性发作护理探讨 24页

2025年度环保产业公司注销债权转让绿色金融合.. 8页

2025年度特色小镇不动产权益投资合同协议 7页

2025年度特殊教育学校安全防护及应急处理协议.. 9页

2025年度物流行业实习生实习协议及劳动合同参.. 7页

2025年度物业管理合同纠纷起诉书范本及解决途.. 11页

2025年度温室大棚租赁与农资配送服务合同 9页

2025年度海鲜厨师与海鲜餐厅老板海鲜加工合作.. 8页

2025年度海洋工程工业气体长期供应合同 9页

2025年度油气站经营权转让合同 8页

2025年度汽车配件分销商合作协议书 9页

2025年度汽车整车公路运输合同 9页

2025年Crisaborole创新合成路径与陈满涛研究进.. 16页

2025年度水产养殖基地租赁合作框架协议 9页

2025年度校园兼职生个人劳动合同参考模板 8页

2025年度木材加工代加工服务合同范本 9页

2025年度智能车库租赁与车位租赁增值服务合同.. 9页

2025年度智能机械租赁合同规范文本 9页

2025年度智能家居定制装修三方合作协议 9页

2025年度智能安防行业劳动合同书 7页

2025年度智能化生产线企业用工劳务合作合同 9页

2025年度智能交通管理系统合同成立条件与实施.. 9页

2025年度智慧社区保安服务用工合同 8页

2025年度智慧城市建设运营公司收取管理费合作.. 9页

2025年度智慧城市全新期权合同 9页

2025年度时尚饰品购销合同简易版 9页

2025年度旅游项目债权债务转移与旅游资源整合.. 9页

2025年度旅游开发项目挂靠合作协议 9页

2025年度施工现场安全管理人员考核合同 7页

2025年度新能源汽车电池回收与利用合伙合同协.. 9页