1 / 3
文档名称:

文本的空间向量表示模型.docx

格式:docx   大小:26KB   页数:3页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

文本的空间向量表示模型.docx

上传人:guoxiachuanyue002 2022/5/26 文件大小:26 KB

下载得到文件列表

文本的空间向量表示模型.docx

文档介绍

文档介绍:文本空间向量模型的主要思想是:将每一个文本表示为向量空间的一个向量,并以每一个不同的特征项(词条)对应为向量空间中的一个维度,而每一个维的值就是对应的特征项在文本中的权重。向量空间模型就是将文本表示成为一个特征向量:
V(d)二((t,w文本空间向量模型的主要思想是:将每一个文本表示为向量空间的一个向量,并以每一个不同的特征项(词条)对应为向量空间中的一个维度,而每一个维的值就是对应的特征项在文本中的权重。向量空间模型就是将文本表示成为一个特征向量:
V(d)二((t,w),(t,w(t,w))
1122nn
其中t(i二1,2,...,n)为文档d中的特征项w为t的权重,一般取为词频的
iii
函数。
一般选取词作为文档向量的特征项,最初的向量表示完全是0,1的形式,即如果文本中出现了该词,那么文本向量的该维为1,否则为0。这种方法无法体现这个词在文本中的作用程度,所以逐渐0、1被更精确的词频代替,词频分为绝对词频和相对词频,绝对词频,使用词在文本中出现的频率表示文本,相对词频为归一化的词频,其计算方法主要运用TF-IDF公式,目前存在多种形式的TF-IDF公式。
在向量空间模型中,两个文本d和d之间的相关程度可以用它们之
12
间的相似度来度量。当文本被表示为向量空间模型中的向量时,我们可以借助于向量之间的某种距离来表示文本之间的相似度,通常用向量之间的内积或者用夹角余弦值来表示。
根据以上理论的指导,我做了如下实验。选取词作为文本向量的特征项(预先把中文词汇的停止词去掉,比如标点符号,啊,阿,哎,哎呀等)。文本向量权重的选取为特征词在文本中出现的次数。两个文本间的相似度用夹角的余弦值表示。比如连个文本D二{iphone5s,16G},文本
1
D={iphone5s,16G,电信版},文本D={iphone5s,16G,移动版}。现在计算D和
231
D之间的相似度。
2
步骤一:得到两个文本特征项集合的并集{iphone5s,16G,电信版}
步骤二:D的向量表示{1,1,0}
1
步骤三:D的向量表示{1,1,1}
2
步骤四:根据向量余弦夹角公式cos0=二计算两个文本的相似度。
IIvIllivII
12
步骤五:保存结果。
实验结果D,D的相似度为,D和D的相似度为0.。
1223
主程序流程图:
用特征项表示各个文本
用特征向量表示各个文本
计算所有文本间的相似度
结束
这个程序还比较简陋,里面还存在一些问题,只是一个入门程序,现在正在研究TF-IDF公式。TF是词频,不同类别的文档,在特征项的出现频率上有很大差异,因此特征项频率信息是文本分类的重要参考之一,一般TF较大的特征项在该类文档中具有较高的权重,也就是说如果一个词有某类文档中经常出现,那么

最近更新

一年级语文形声字区分《识字3清请晴情睛蜻》微.. 22页

充分研究业务规律 合理进行定员 2页

偏心圆齿轮啮合特性及CAM技术研究 2页

保温瓶生产工艺——第三讲 瓶胆中的应力 2页

供应链核心制造企业质量免疫应答研究 2页

一例下肢静脉溃疡患者的护理体会 31页

伯胺N (1923)萃取HgCl 2机理的研究 2页

优化掺油生产管理改善高246块生产效果 2页

企业营销价格策略之产品定价方法评析 2页

企业国有资产管理体制改革的探讨 2页

《重复与渐变》课件 29页

游戏代理销售合同范本 6页

从铁路运能探讨铁道车辆现状与发展(下) 2页

《读书人是幸福人》全新ppt 37页

从彩色照片冲印废液中提炼白银及废漂定液的再.. 2页

从借阅登记进行用户需求调查分析 2页

介绍几种国外重质原油或渣油加工方法(续) 2页

人机交流技术概要和翼面结构布局优化中的一个.. 2页

济南市合伙经营合同范本 6页

交错式PFC在变频空调中的研究与应用 2页

沿海内河船舶保险合同纠纷处理办法(版) 6页

五连轧机组齿式联轴器失效分析及优化 2页

二项式期权在气田开发投资决策中的应用 2页

二氧化钛光催化技术在污水处理中的应用 2页

江苏省建设工程合同管理暂行办法 6页

水电安装项目合同书版 6页

乙二胺四乙酸钠直接镀铜工艺的研究 2页

水产养殖合作协议合同 6页

中长筒保形取心技术在页岩气井中的应用 2页

中直径无缝钢管自动轧管机顶头化学成份的研究.. 2页