基于spark的并行k-means算法研究.pdf

文档介绍：卷 第 期 微 电 子 学 与 计 算 机
３５ 　 ５ Ｖｏｌ．３５　Ｎｏ．５
　 年 月
２０１８ ５ ＭＩＣＲＯＥＬＥＣＴＲＯＮＩＣＳ　＆ ＣＯＭＰＵＴＥＲ Ｍａｙ　２０１８
基于 的并行 算法研究
Ｓｐａｒｋ Ｋ－ｍｅａｎｓ
许明杰 蔚承建 沈 航
， ， 　
南京工业大学 计算机科学与技术学院 江苏 南京
（ ， ２１１８１６）
摘 要 针对 算法在海量数据的处理过程中 由迭代计算次数加大导致的内存不足的问题 提出 并
　 ： Ｋ－ｍｅａｎｓ ， ， Ｓｐａｒｋ
行化的 算法 将粒子群优化 与 结合 利用 来提高 的全局搜索能力 得到初
Ｋ－ｍｅａｎｓ ． （ＰＳＯ） Ｋ－ｍｅａｎｓ ， ＰＳＯ Ｋ－ｍｅａｎｓ ，
始聚类中心 利用 的迭代计算能力 将 算法与 并行框架结合 提升该算法模型对数据的处理
． Ｓｐａｒｋ ， Ｋ－ｍｅａｎｓ Ｓｐａｒｋ ，
速度 缩