1 引言
1.1 目的
通过对系统整体架构和技术规范的描述,为下一步大规模设计开发提供基础和规范。
1.2 对象与范围
项目管理人员,开发人员,测试人员。
1.3 概述
系统一期,以实现功能为主,效率性能为辅,但设计兼顾未来性能的扩展,以减少未来重构的工作量。
webapp按逻辑分为两层,第一层用户服务接入,第二层内部服务。第一层一期不分模块,以二级目录形式表示不同模块,第二层根据不同服务分模块,第一层和第二层之间使用hessian通信。
第一层和第二层部署,第二层的不同模块也可以部署。 下一期考虑第一层分模块的二级域名部署,并实现单点登录。
web app采用集群负载均衡,数据库采用负载均衡和读写分离,以满足一定的性能需求。
文档描述了各层结构和模块使用的技术和框架。最后描述了开发的规范和用到的开发工具。 文档只是描述了一期的架构,
2 系统架构图
一期系统架构如下
用户浏览器http负载均衡,动静分离(nginx)静态请求网络存储动态请求Web APP(bull)rmi缓存同步文件存取Web APP(bull)Hessian邮件服务器物流公司A8系统第三方网站短信平台银行,第三方支付WSSmtpapi支付(lion)物流(antelope)邮件(eagle)短信搜索(pigi(dogeon))Hessianhessian后台管理系统(hourse)http管理员浏览器对外服务(camel)进销存(fox)调用外部(mouse)JDBCJDBC数据库读写分离,负载均衡(Amoeba)ODBCDB(salver)DB(master)REPLICATIONDB(salver)DB(salver)DB(salver)
3 层次和模块
3.1 前端负载均衡
nginx是一个口碑很好的开源免费WEB服务器,国内很多大型网站都转选nginx平台,比如腾讯,豆瓣等。Nginx可以实现动静分离和web app的负载均衡。
3.1.1 动静分离
动静分离可以很好得分担服务器的负载,有两种方式实现动静分离。
1.使用2级域名,配置专门的静态文件服务器。
2.利用nginx的url转发功能,把静态请求转发到静态服务器或在nginx本地处理,动态请求转发到应用服务器。 我们目前部署上采用第二种方式,同时也实现第一种方式。系统可以配置动态服务器地址和静态服务器地址,在生成页面时获取这两个地址,对图片、js脚本、css和静态页面使用静态配置生成url,对ajax请求和动态页面使用动态服务器地址生成url。
3.1.2 负载均衡
nginx可以配置upstream服务器组,实现组内的负载均衡。通过ip_hash的方式把动态请求转发到组内的某台服务器,同时保证客户端在IP不变的情况下一直访问同一台服务器,解决session保持问题。
3.2 Web app
网站前端,基于j2ee,spring框架开发。
3.2.1 页面展示和控制
系统有三种页面方式.
1. 动态同步请求,通过velocity模板生成页面,客户端刷新整个页面。
2. ajax异步请求。Ajax异步请求又有三种形式:与velocity模板结合返回html串;
返回json格式;直接返回简单的字符串。 3. 模板生成的纯静态页面
前台页面采用的框架和第三方技术有:
1. jquery—core (事件处理,ajax请求,页面刷新……)。
2. Jqzoom (图片放大器) 3.Jquery-validator(输入验证) ……
3.2.2 权限安全控制
使用apache shiro框架实现权限控制。Shiro是一个强大、使用简单的权限安全框架。同时Shiro也能与cas单点登录整合,方便在下一期扩展多个应用模块。
框架把权限系统分成subject(当前用户),manager(管理所有用户),realms(权限数据)三层。支持基于实际资源和基于角色的权限校验,同时 我们扩展shiro的UsernamePasswordToken,Realm实现基于验证码和数据库用户密码的用户登录验证。
在过滤器层,我们暂时只使用shiro的3种类型过滤器控制访问: 1.AnonymousFilter 匿名过滤器 任何人可以访问。 2.AuthenticatingFilter 认证过滤器 必须通过身份认真才能访问(跳转到登录页面)。 可以对当前subject直接调用方法完成判断是否登录,登录,注销等操作,方便对登录功能的扩展。
3.2.3 控制器层
采用spring 基于注解的控制器,控制器支持velocity视图返回,ajax json返回和ajax text返回。
3.2.4 数据验证
使用和扩展apache的common-validator。
3.2.5 逻辑层
采用spring基于注解的事务控制。
3.2.6 数据持久层
采用ibatis框架,基于sqlmap配置实现数据的读写,sqlmap配置可以控制底层sql语句,便于数据库的调优。
3.2.7 缓存的处理
使用缓存可以降低与数据库的交互次数,极大提高系统性能。我们采用ehcache缓存框架。用到两种缓存方式:
1. 页面缓存:直接在过滤器层对页面进行缓存处理,在过滤器层就可以返回缓存的页
面,不用转到控制器去处理。对于页面比较复杂,调用业务逻辑比较多的页面,采用页面缓存效果很好,比如首页.
2. 基于注解的方法缓存,可以对方法的返回值缓存,存入的参数可以组成key。可以
在逻辑层使用缓存,也可以在持久层试用.对于请求简单,访问量大,但修改频率比较低的数据进行缓存可以达到很好的效果。比如商品分类,系统数据字典,地区等数据。
Ehcache支持分布式缓存,ehcache支持服务器之间通过rmi调用保持所有服务器之间缓存同步.
缓存的两种过期机制:
1. 定时过期,直接通过ehcache的配置确定缓存过期频率。
2. 主动通知,管理员在后台系统进行某些操作后,通过hessian远程调用通知应用服
务器缓存过期。只需通知一台应用服务器,应用服务器之间通过ehcache自带分布式缓存复制方式同步缓存。
后台管理系统可以提供刷新缓存功能,管理员在后台管理系统主动刷新缓存。
3.2.8 去其他模块之间的通信
通过hessian远程调用框架,实现与其他模块功能之间的通信。
Hessian是一个基于http的二进制远程过程调用框架,比webservice更高效。与Spring框架很好结合,开发简单。
3.3 后台管理系统
管理员用来维护网站的系统。基于j2ee spring框架。与网站前台使用到的技术差不多,现只介绍不同点:
3.3.1 页面的展示
大部分请求采用页面刷新的机制。
头部,中部左侧菜单和底部固定不变。中部右侧iframe为主操作区,每次操作刷新页面。 商品描述的编辑需要使用到富文本编辑器,我们采用开源的TinyMCE,TinyMCE在国内应用比较广泛。
3.3.2 缓存机制
后台系统访问不是很频繁,同事管理员需要的是实时的数据,所以后台管理系统不对数据进行缓存。
3.3.3 权限管理
采用sping security框架进行权限的控制,基于用户、角色和资源的授权机制。
3.4 支付模块:
支付模块主要功能是订单的管理,与银行等支付系统的交互。基于j2ee spring框架。采用spring mvc模式。
3.4.1 与银行和其他支付系统的交互
需要提供一个Url地址,供银行在用户完成支付后回调,通知系统已经支付成功。
3.4.2 与内部模块之间的通信
主要来自网站前端的调用。基于hessian机制.
3.5 物流模块
支付模块目前主要功能是调用物流公司的接口跟踪物流状态,随着系统的不断发展,在拥有自己的物流后,可能发展成一个庞大的系统。基于j2ee spring框架。采用spring mvc模式.基于hessian机制对外提供远程效用服务。
3.6 邮件模块
邮件模块主要用来向客户发送邮件。基于j2ee spring框架。采用spring mvc模式。
3.6.1 邮件发送
使用 java mail包发送邮件,支持以固定模板发送邮件。
3.6.2 定时发送
使用spring+quartz框架实现定时任务发送邮件.
3.6.3 与内部模块之间的通信
为网站前端和后台管理系统提供远程调用服务.基于hessian机制。
3.7 短信模块
短信模块主要用来向客户发送短信。基于j2ee spring框架。采用spring mvc模式。
3.7.1 邮件发送
调用短信设备api发送短信,支持以固定模板发送短信。
3.7.2 定时发送
使用spring+quartz框架实现定时任务发送短信.
3.7.3 与内部模块之间的通信
为网站前端和后台管理系统提供远程调用服务.基于hessian机制。
3.8 进销存模块
调用A8系统接口,实现库存的管理。基于j2ee spring框架.采用spring mvc模式。
3.8.1 Web service调用
采用spring+xfile 框架调用a8系统webservice。
3.8.2 与内部模块之间的通信
为网站前端和后台管理系统提供远程调用服务。基于hessian机制。
3.9 搜索模块
为网站提供搜索服务。包括商品检索和问答式搜索的问题检索。基于j2ee spring框架.采用spring mvc模式。
3.9.1 检索框架
我们使用国产开源coreSeek搜索引擎,基于开源项目Sphinx研发并开发的搜索引擎。自带中文分词器mmseg,有大量中文文档。提供JAVAAPI。索引建立效率高并且与业务无关。在国内有大量成功案例。
3.9.2 与内部模块之间的通信
为网站前端提供远程调用服务。基于hessian机制。
3.10 第三方服务调用模块
调用第三方合作服务商的接口。基于j2ee spring框架。采用spring mvc模式。
3.10.1 Web service调用
采用spring+xfile 框架调用第三方服务webservice。
3.10.2 与内部模块之间的通信
为网站前端和后台管理系统提供远程调用服务。基于hessian机制。
3.11 对外服务接口
对外部系统提供webservice接口服务
3.11.1 Web service服务
采用spring+xfile 框架对外提供webservice服务。
3.11.2 与内部模块之间的通信
调用内部其他模块的服务.基于hessian机制。
3.12 数据库
使用mysql5.5数据库存储数据,并使用读写分离机制提高数据库性能。
3.12.1 数据库读写分离
我们使用开源的mysql代理Amoeba实现数据库的读写分离,把写请求发送到主服务器,读请求发送到从服务器,主从之间通过mysql自带的复制机制实现数据的同步。
3.12.2 数据库负载均衡
Amoeba支持轮询和权重两种负载均衡机制,我们使用权重负载机制实现读服务器的负
载均衡。
3.12.3 数据库表引擎的选择
主服务器必须使用innodb支持事务的存储引擎,行级锁表.而从服务器可以考虑使用myisam引擎,不支持事务,表级锁表,具有更高的读写效率,但不支持外键。
3.12.4 主从数据库的差异优化
主服务器只需要建立唯一索引和外键约束,其它针对对查询优化的索引可以不建立,这要可以提高主服务器的性能。
从服务器字段使用char而不用varchar,没有varchar, text, blob字段的表是静态表,反之是动态表,静态表的检索效率要比动态表好若干倍.
4 工程命名
工程以动物命名,结合了各种动物特征与我们各工程的职责: 公共接口工具 magpie(喜鹊) 网站前台服务 bull(公牛) 物流 cheetah (猎豹) 支付 lion (狮子) 进销存接口 fox(狐狸) 搜索 dog (狗) 邮件 eagle (鹰) 短信 pigeon (鸽子) 后台管理 horse(马)
调用第三方合作接口 mouse(老鼠) 对外服务接口 camel(骆驼)
5 工程规范
5.1 工程目录结构
src 源码 WebContent WEN-INF lib jar包
config 配置文件 views 视图模板 layout 布局模板 screen 页面模板 …… 各模块 common 公共的 styles 样式文件 resources资源文件 scripts js文件 common 公共js
…… 各模块,各开源js项目
5.2 包结构
包命名基本原则:小写字母开头,如果有多个单词,除第一个单词之外的单词首字母大写
5.2.1 公共工具接口工程
公共工具:com.zjdelai.emall。common。util
各层的公共基类:com.zjdelai.emall.common 下的各子包
远程调用公共dto:com.zjdelai。emall.提供服务的工程名。remoting .dto.业务子模块 远程调用公共接口:com。zjdelai.emall.提供服务的工程名.remoting.interfaces.业务子模块
第三方开源包的扩展:com.zjdelai。emall.common.第三方开源包名
5.2.2 各模块工程
数据对象:com。zjdelai.emall。工程名.domain.业务子模块 持久层dao接口: com.delai.emall.工程名.dao.业务子模块 持久层dao接口实现: com.zjdelai。emall。工程名。dao。业务子模块.持久层框架名(ibatis) 持久层sqlmap: com。zjdelai。emall。工程名。dbMap。业务子模块。数据库类型(mysql) 业务逻辑接口: com。zjdelai.emall。工程名.service。业务子模块
业务逻辑实现: com。zjdelai。emall。工程名。service。业务子模块.impl Web控制器action: com.zjdelai。emall.工程名。web.action.业务子模块 Web验证器:com.zjdelai。emall。工程名.web。validator。业务子模块 Web过滤器:com。zjdelai。emall。工程名。web.filter 工具:com。zjdelai.emall。工程名。util
远程调用接口实现:com。zjdelai。emall。工程名.remoting。interfaces。业务子模块.impl
5.3 类、接口命名
类命名基本原则:首字母大写,多个单词的首字母大写
接口命名基本原则:以大写字母\"I\"开头,如果有多个单词,每个单词头字母大写I 数据对象:数据库表名.java
Dao接口:I+数据对象名+Dao.java
dao实现:数据对象名+Dao+框架名(Ibatis)。java sqlmap:数据对象名.xml
业务逻辑接口:I+数据对象名+Manager。java 业务逻辑实现:数据对象名+ManagerImpl。java Web action: domain名+Action.java
Web validator: domain名+Validator.java Dto:***Dto。java
远程调用接口:I+数据对象名+Sercice。java 远程调用实现:数据对象名+SerciceImpl.java
5.4 变量和方法命名
类变量、局部变量命名规范:
变量名首字母必须小写,如果该变量名有多个单词组成,后面的单词首字母大写,单词与单词之间不要使用‘_’做连接。 类常量命名规范:
所有字母大写,如果有多个单词组成,单词与单词之间以‘_'隔开。而且该变量必须是公共、静态、final类型。 方法命名规范:
方法名首字母必须小写,如果该变量名有多个单词组成,后面的单词首字母大写,单词与单词之间不要使用‘_’做连接。 方法参数名命名规范:
参数名首字母必须小写,如果该变量名有多个单词组成,后面的单词首字母大写,单词与单词之间不要使用‘_’做连接。
5.5 注释
5.5.1 类、接口的注释
类、接口必须要有注释.描述类、接口的功能,作者,版本,最近修改时间。
类的注释必须写在该类的声明语法之前.在注释中要描述该类的基本作用,作者,日期,版本。 /**
* XXXX功能类 *
* @author XXX
* @versionX.X。X 修改时间 作者 */
5.5.2 类、接口的变量和常量注释
类、接口的变量和常量必须有注释,变量和常量注释必须写在变量和常量定义之前,简单描述其代表的意义。 /** * XXXXXX
*/
5.5.3 类、接口方法注释
方法必须要有注释,方法注释必须写在方法定义之前。该注释包括:方法其功能的简单 描述,方法的参数、返回值类型、返回值意义简单的描述,跑出异常描述
/**
* XXXXXX功能
* @param a a参数的意义 * @param b b参数的意义
* @return 返回类型 返回的意义 * @throws XXXX异常 * @throws XXXX异常 */
5.5.4 逻辑代码注释
逻辑代码必须注释。每个条件判断和每个循环都需要有注释. 其它关键代码也需要注释 /**
* 当XXXX的时候 XXXX */
If ( ) { } /**
* 循环XXXX */ for () { } /** * XXXXXX */
程序代码
6 开发环境和工具
JDK1。6 Eclipse3。7 Jboss5.1。0 Mysql5.5
7 部署环境
Red Hat Enterprise Linux Server release 5 JDK1.6
Jboss5。1.0
Amoeba for mysql Mysql5。5