华泰证券智能运维体系的探索与实践 苏凯 系统架构师 GOP S 全球运维大会2019·深圳站 中国领先的大型综合证券集团 GOP S 全球运维大会2019·深圳站 自我介绍 • 2015年加入华泰证券 • 现就职于运维技术开发团队，先后负责了自动化 运维平台、日志分析系统、统一监控平台等系统 的研发 苏 凯 运维技术开发团队 GOP S 全球运维大会2019·深圳站 • 目前从事智能化运维平台的建设 券商运维特点 u 强周期性，强实时性 u 高并发，高可用 u 业务系统多，架构多样化 u 资源规模不断变大 u 稳定要求高，监管要求严 GOP S 全球运维大会2019·深圳站 运维的发展阶段 手工运维 - 原始方法 - 纯手工操作完成 - 低效、重复 脚本运维 - 重复、高频操作通 平台运维 - 统一监控、自动化 - 汇集海量运维数据 运维平台 - AI算法分析决策 - 运维效率提升 - 运维经验反馈 - 人工分析和决策 - 大幅提升运维效率缩 过脚本、小工具 - 系统间差异明显 智能运维 短时间，提高准确性 GOP S 全球运维大会2019·深圳站 运维的现状与挑战 + 统一监控平台 GOP S 全球运维大会2019·深圳站 + 自动化系统 ITOM流程 管理系统 运维体系的转型 3 建立流程驱动的IT资源 管理体系 2 成立开发团队，打造体系 1 推动运维管理向运维 化的运维系统 分析的转型 GOP S 全球运维大会2019·深圳站 4 统一自动化运维平台 5 6 打造层次化、精细化的监 控体系 成立IT技术支持团队， 打造技术支持体系 智能化的运维工作台 GOP S 全球运维大会2019·深圳站 分层分级的监控 u 层次化划分 u 精细化指标 u 关联依赖关系 - 业务逻辑 应用程序 中间件和数据库 网络拓朴 - 应用拓朴 - 应用-服务器关系 - 服务器-网络关系 GOP S 全球运维大会2019·深圳站 服务器及操作系统 网络及网络设备 层次化监控体系 GOP S 全球运维大会2019·深圳站 统一监控平台：监控数据门户 一线运维人员 二线运维人员 业务监控大屏 业务全景监控 性能管理 日志搜索 容量管理 运维数据中心 运维对象 业务系统 中间件 GOP S 全球运维大会2019·深圳站 计算资源 网络环境 告警处理 故障处理 统一监控平台 灵活的数据分析仪表盘 GOP S 全球运维大会2019·深圳站 统一告警处理平台 日志分析系统：故障排查与运营分析 南京主机房 系统核心功能 数据源 • 秒级搜索 • 性能监控 业务日志 • 日志告警 • 指标抽取 运行日志 • 运营分析 • 集中管理 • 故障定位 • 数据核对 GOP S 全球运维大会2019·深圳站 同城灾备 日志接入 集群 Kafka Storm ES 系统日志 网络日志 ES ES 搜索与分析 日志告警 异地灾备 日志分析的规模 10+ 60+ Storm • 3000+采集节点 • 60+的ES存储节点 20+ 10+ • 每日采集1TB+日志 Logstash 1TB+ 每天 3000+ GOP S 全球运维大会2019·深圳站 • 秒级查询，秒级告警 日志分析的价值 交易流水查询 小时 秒级 故障快速定位 量化、可视化 业务层监控 不足 丰富 实时运营分析 T+1 GOP S 全球运维大会2019·深圳站 分钟 监控可视化大屏 从业务视角，全局运营信息系统 3 10+ 1000+ 50+ 部门级应用全景视图 全系统整体运行状态及故障发现 大屏模式 大屏数量 涉及指标数量 GOP S 全球运维大会2019·深圳站 涉及系统 网络质量感知系统 • 全网覆盖 • 分层Ping测 • 自动配置 • 多地部署 • 智能告警 GOP S 全球运维大会2019·深圳站 网络质量感知 IDC线路故障 单设备故障 GOP S 全球运维大会2019·深圳站 日志异常检测背景 业务特点 • 强周期性业务明显 • 不同业务指标有差异 • 每日业务存在差异 发行新股、新债 夜市委托 GOP S 全球运维大会2019·深圳站 日志异常检测框架 采集规则 数据采集 ES/日志 异常告警 监控模型 模型参数 模型配置 GOP S 全球运维大会2019·深圳站 时序数据库 自动调节 手工调节 日期标签 模型调节器