·
环境依赖
镜像系统的部署需要依赖的环境有JDK1.8、PostgreSQL Server和PgAdmin。
- 在Win2008和Win7以上的系统上,以上三个依赖即使脱离互联网环境也是可以顺利安装的,具体可以参考之前的一篇指南:PostgreSQL离线安装
- 如果是Win2003的服务器,情况会复杂很多,需要安装虚拟机,在虚拟机中安装Linux机器,网络端口映射等额外操作
镜像系统的采集机和服务机都需要安装上述环境依赖。
此外,采集机和服务机之前通过ftp进行数据单向传递。
在采集机上再安装一个Chrome离线安装包,方便部署调试。
采集机配置
采集机的配置分为三步:数据库配置、爬虫配置、镜像软件配置
数据库配置
- 采集机所在的网络是和一号采集机的网络互通的,一号采集机作为第一台采集机,其上拥有最贴近生产环境的数据库样本。远程连接至一号采集机,从一号采集机上导出数据库数据(数据量非常大的情况下,推荐只导出结构,再导出特定表的数据)
- 在新的采集机上新建mirror数据库,导入一号采集机上的数据
- 修改用户表,适应新的客户名称,顶图修改
- 初步调整板块表,前后次序,冗余剔除,命名修改
- 额外板块图上传
爬虫配置
- 对应板块表的修改,将爬虫的规则和pid做适当调整
- 通讯录抓取调整
- 值班安排调整
镜像软件配置
配置文件修改,启动即可
服务机配置
服务机的配置分为两步:数据库配置、镜像软件配置
- 服务机的数据库配置(新建mirror数据库)是配对采集机数据库的复刻镜像,完全一样,采用整体导出导入即可
- 镜像软件配置,配置文件修改,启动即可
其他
- 采集机、服务机:数据库启动、软件启动、爬虫启动的方法,编写使用说明,放置在服务器桌面
- 采集机管理端和服务机管理端的使用方法