文档介绍：搜索引擎的动力引擎
搜索引擎的动力引擎
互联网行业竞争激烈,能否得到更多用户的认可是企业生存的根本,而认可的关键就在于服务是否及时、优质、准确。搜狗是搜狐于2005年推出的全球首个第三代互动式中文搜索引擎,在搜狐的整体发展战略中占据十分重要的地位。搜狗的产品线包括了网页应用和桌面应用两大部分。如何在强手如林的搜索引擎市场占据有利地形,是一个必须回答的重要命题。

海量数据检索带来的挑战

搜索引擎的最大难题是正确理解和满足用户的需求,而这一切,都必须基于一个强大的数据中心来完成。提升数据中心的效能,是提升用户满意度的关键要素。基于这种考虑,搜狐特别启动了搜狗新一代数据中心项目的建设,希望通过技术创新,提升搜狗的服务品质,从而赢得用户的青睐。
搜狐追求新技术应用是有传统的,搜狗引擎就是搜狐在搜索技术领域追求创新的一个结果。我们希望能利用各种领先的技术与设备,让我们的产品与服务为用户带来更好的感受。尤其对于搜狗数据中心,我们更希望规避传统数据中心的短板,进一步提升数据中心网络的性能、效率与可靠性,让用户访问起来感觉更加良好。搜狐网络运维部某负责人解释了采用新一代数据中心解决方案的初衷。
此外,搜狐在数据中心网络建设上不断求新是形势使然,,搜狗搜索引擎的中文网页收录量已超过100亿,每天的网页更新量则有5亿之多,激增的海量数据对搜狗数据中心带来了前所未有的压力。新的搜狗业务应用要求数据中心网络平台能支撑百亿海量网页收录、及时更新网页和网页评级体系,满足高密度服务器集群的高性能并行抓取工作,同时网络系统要具备后期灵活的扩展能力。面对超高的网络流量与数量庞大的服务器集群,原有的搜狗数据中心网络架构与设备性能已无法满足这一要求,采用新一代数据中心架构来建设搜狗IDC新机房成为必然的选择。
根据这一需求,2009年初,搜狐公司征集了业内多家厂商的设备,进行了全方位考察和比较。最终, H3C公司集S12508数据中心级核心交换机、S75E高端多业务路由交换机、S5800万兆交换机、iMC智能管理中心等软硬件设备为一体的统一交换架构数据中心解决方案获得了该项目的全部份额,搜狗新一代数据中心网络建设的大幕也由此拉开。

让大流量不再是问题

据记者了解,在搜狗数据中心网络体系中,部署了两台H3C S12500交换机作为整个网络的核心,同时,两台
S75E高端多业务路由交换机承担起数据传输网的重任,而数十台S5800交换机则作为接入交换机,将2000多台服务器连成了一个大的网络。
据H3C网络产品线副总裁孙德和介绍,S12500的设计瞄准的就是数据中心高密度、大流量和大缓存的特点,,而且能支持多达576个万兆端口,能够充分满足搜狗数据中心高密度万兆应用的需求,这也是传统的万兆交换机很难做到的一点。
众所周知,网页搜索最重要的就是搜索速度与结果准确性,这也是搜狗引擎持续不断优化改进的目标,它依托的是系统在瞬间对海量网页数据进行挖掘、分析、显示的结果。在这一过程中,数据中心网络承担的带宽压力非常大。为了保证用户能够得到及时、准确的搜索结果,当搜狗引擎接收到一个网页搜索请求时,往往会向高密度服务器群同时发起检索需求,并在非常短的时间内接收