近期,第六届TOP100全球软件案例研究峰会于北京国家会议中心成功举办,本届大会大咖云集,共探“人工智能时代的研发战略演进”。此外,本届峰会甄选了100个年度最具创新价值与研发实践的技术案例,为到场企业及观众指引方向。小编很荣幸也来到现场聆听。从技术研发到落地实践再到今天的案例分享,每一个成功案例背后的技术人员都值得我们尊敬。
会后微博技术专家、新浪微博混合云项目技术负责人付稳接受了赛迪网专访,与小编分享了近年来微博如何应对瞬时流量峰值的相关问题,并简要介绍了微博混合云项目。
近年来,每逢突如其来的大事件,网友第一时间都会在微博上产生热议,如2015年李晨范冰冰在微博公布恋情#我们#,2016年#王宝强离婚#、2017年#鹿晗关晓彤#,这些热门事件瞬间攀升到微博热门话题榜。诸如此类的事件在微博时常出现,面对巨大的瞬时流量挑战,微博将如何应对?
其实早在2015年微博为解决微博峰值流量应对问题,专门成立了微博混合云项目组,主要负责混合云相关技术平台的研发。借助公有云的弹性能力,完成峰值流量应对与三节保障支持。
付稳表示,微博混合云技术发展至今近三年时间,主要可分为三个阶段:第一个阶段手工运维部署、第二阶段定时自动化阶段、第三阶段智能化阶段。
在面对突发高流量的事件时,需要做到15分钟内完成1000节点扩容能力。这将面临巨大的挑战。由此,微博混合云项目正式诞生,到目前经历了几个阶段。
首先是自动化。在应对流量峰值时,若依赖管理员进行人工操作显然难以应对,因此自动化扩容显得尤为重要。自动化调度可分为四个阶段:创建主机阶段,初始化,任务调度,负载均衡。
微博混合云扩缩容流程
为保证自动化的高效,团队又开始做流式体系改造,包括第一IP粒度流式化的扩容,保障扩容成功率;第二在物理层、调度层、服务发现层各阶段支持幂等性,可在任一阶段失败后自动重试;第三则是支持业务间依赖扩容。
此外,实施每日晚高峰扩容制度,每日扩容出发点:一是优化成本,二是晚高峰性能保障。付稳讲到,如果仅为应对流量高峰而常备一两千台空闲服务器,这对公司来说将产生一笔巨大的浪费。若采用公有云弹性资源优势进行按需弹性调度,同时改造原有运维体系实现分钟级私有云、公有云弹性扩缩容,这样就可以做到管控成本的前提下做好瞬时峰值流量应对。
除了扩容抵御,测试团队还会做压力测试、性能测试。通过多机房容灾优化、防御保障体系完善、弹性伸缩能力、标准化容量评估体系、智能化监控、跨团队治理等不同维度综合式、立体式全方位来应对瞬时流量峰值。
微博混合云项目主要功能已通过OpenDCP开源项目https://github.com/weibocom/opendcp开源,将微博极端峰值应对先进经验向业界进行输出。