文档介绍：魔方系统架构设计说明书
Version
Revision History
日期
版本
描述
作者
审核
文档生成
目录
1 文档说明 5
2 系统说明 5
系统目的 5
系统背景 5
系统服务 5
非功能需求 6
3 整体结构 6
架构表示 6
架构因素 7
技术决策 7
问题:抓取屏蔽 7
问题:大数据量存储 8
问题:渠道适配器的适应性 9
子系统 9
逻辑视图 9
总体架构图 9
技术架构 10
WEB前端 12
抓取机器人 13
物理架构 14
部署视图 14
网络拓扑图 15
硬件设备 15
硬件采购 16
开发视图 17
开发框架概述 17
开发框架分层 17
项目工程及目录结构 18
项目工程包依赖关系 19
开发技术框架使用列表 20
版本控制 20
构建及测试 20
开发环境(虚拟机)搭建 20
数据视图 20
数据流视图 21
RDBMS数据结构 21
HBase数据结构 22
运行视图 23
整体运行架构 23
WEB前端 23
抓取机器人 24
用例视图 29
安全视图 30
身份认证 30
权限控制 30
用户身份认证及授权可选方案 31
数据库安全性 31
网络安全 31
4 接口设计 32
5 领域框架 32
6 监控 32
7 架构能力 33
可扩展性 33
系统可扩展性 33
架构可扩展性 33
可运维性 33
8 风险评估 34
抓取机器人IP遭目标网站屏蔽 34
目标网站数据格式改变 34
9 总结 34
文档说明
本架构设计文档主要用来描述运价魔方的架构分析决策,同时也作为帮助开发人员迅速了解本系统的参考文档。
系统说明
系统目的
运价魔方通过互联网到航空官网以及各大网站进行数据采集,存入运价数据中心库,通过对数据进行全面的监控和科学分析,将有价值的数据提供给航空公司、代理人作决策支持。
系统背景
目前航空公司是通过人工上网搜索各航空公司官网及各相关网站的航线的运价信息,手工录入excel,然后再手工制作报表,所有的操作都是通过人工进行的。业务人员希望通过运价信息抓取的自动化,及运价查询,报表等的自动化,来降低运维人员的工作量,同时提高精确度,避免人为错误导致的数据偏差,提高数据分析效率。
系统服务
本系统作为一个面向浏览器的系统,将会提供一个WEB系统入口,用来进行日常的运营数据分析及数据抓取设置管理,主要功能如下图所示:
非功能需求
安全性:系统有严格的安全要求,数据传输、存储过程中需要加密。
稳定性:系统要求具有高稳定性。
可维护性:系统具有高可维护性,允许在非高峰生产时间段进行系统的升级,系统升级时间<30分钟;高峰生产时间段,系统出现问题需要在5分钟内能够恢复或切换到备机。
性能:最大同时在线人数500,最大同时并发人数50。
可扩展性:系统要提供可扩展的接口。
整体结构
架构表示
此软件架构文档从以下几个方面来描述软件架构:
逻辑视图-最重要的层的概念性的组织方式,子系统,包,框架,类,接口等,及描述主要的功能及结构。
数据流视图-数据流的总览,持久化数据方式,所使用数据库等。
部署视图-描述物理部署节点及各节点的配置。
技术架构-描述所选用的主要技术。
开发视图-主要描述项目目录组织,如何进行构建及执行冒烟测试。如何进行版本管理等。
用例视图-包含最重要的或者有代表性的用例或用例实现及非功能性需求。
安全视图-主要描述哪些安全性被应用到系统。
运行视图-主要描述系统处理过程,各逻辑元素的责任,协作等。
架构分析
整体架构分析
关键架构因素
因素
测量跟质量场景
变化(当前及未来)
影响程度
优先级
困难或风险
反抓取屏蔽
由于抓取任务是定时器任务,具有规律性,可能会被目标网站给屏蔽或者其他措施给限制。
当前-使用***的方式来***。
进化-未来抓取目标会增多及抓取频率会增大。