刘俊晖:看爱奇艺大数据平台的构建之路

刘俊晖:看爱奇艺大数据平台的构建之路

【IT168 现场报道】2016年10月27日-29日，2016中国系统架构师大会(SACC 2016)在北京万达索菲特大饭店盛大开幕。作为中国规模最大的架构师豪门盛会，本届大会以“架构创新之路”为主题，站在创新的风口上，与大家共同打造一场通过架构创新及各种IT新技术来带动企业转型增效，助力架构师们腾飞的技术盛会。

大会云集了国内外顶尖专家，共同探讨云计算和大数据等技术背景下，如何通过架构创新及各种IT新技术来带动企业转型增效。本届大会共设置两个主场分享时段，24个技术交流专场时段；邀请来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域，150多位技术专家及行业领袖来分享他们的经验；并将吸引4000多名系统运维、架构师、及各种企业的IT决策人士参会，为他们提供最具价值的交流平台。

中国系统架构师大会的第一天下午，我们迎来了主题为“大数据平台架构及应用实践”的专场，今天下午的第四位演讲嘉宾是爱奇艺云平台技术总监刘俊晖，他演讲的题目是《爱奇艺大数据平台的构建之路》。

▲爱奇艺云平台技术总监刘俊晖

刘老师2008年毕业于复旦大学，2013年加入爱奇艺云平台并建立服务云团队，负责数据库、中间件、大数据基础架构等研发和运维。此前就职于Intel和SAP，曾带领团队研发SAP HANA(内存数据库)的数据挖掘引擎。

爱奇艺大数据平台的挑战

随着爱奇艺从视频新秀跃居视频行业之首，目前在移动端已拥有3.1亿月用户数(仅次于微信和手机QQ)，巨大的数据增速迫使我们的大数据平台快速迭代。

在平台开发层面，除了实现海量日志的实时采集、异构数据源的管理及同步、统一作业提交和工作流管理之外，还提供额外的开发部署及调试工具，并提供经过优化的算法与工具库，往往使得业务实现能有数倍的性能提升。

成本优化方面，爱奇艺通过YARN建立几个大资源池，实现了离线和实时资源的共享，通过源码级别的调优最大化资源使用率，大大节省成本，并向Apache贡献了50+个patch；另外在运维方面，实现了一套QoS系统，精准采集了数百个更细致的指标，可以做到更精准的监控和问题定位，并在部分场景下实现自动化运维。

平台的构建之路

1.0专业化：专人做专事、规范化

2.0规模化：技术深入、突破规模瓶颈

每一层都要考虑高可用，如果简单分为云平台和业务两层的话，在云平台层面，从数据中心建设(双电、UPS、多DC)，到数据库(MHA、NoSQL集群方案)，到中间件(消息系统、RPC服务框架)，再到访问层(DNS、LVS负载均衡)等，都尽力做到一定程度的高可用。

3.0生态化：平台、工具链、易用性

谈到可扩展方面，这里有两层含义，一个是容量规划上的可扩展，一个是动态可扩展。前者是一个基础，基本上架构的每一层都要考虑到业务发展迅猛甚至井喷的时候，是否能够做到水平扩展，只要添加机器就可以了？而后者是一个更大的挑战，动态可扩展，也是就说具备了伸缩性，前提就是有一个资源池 (比如爱奇艺有基于Mesos和YARN的资源池)，可以调度不同计算类型的任务，支持弹性伸缩，这个对于成本节省和抗突发流量是非常有帮助的。

爱奇艺大数据平台架构

其实当我们谈架构的时候，往往已经是在面对一个比较复杂的分布式系统，分布式系统有着CAP和BASE等经典理论，引申出高可用、可扩展、一致性、性能等特点，而衡量一个分布式系统的架构是否成功，则取决于业务需求，对于支付系统来说，一致性是最高标准，而相对于视频播放服务，高可用和性能则更为重要。对于大部分架构来说，最终一致性已经足够，而高可用和可扩展往往是互联网架构的首要考虑因素。

刘老师认为随着云时代的到来，对于云平台架构的采用，无论是私有云还是公有云模式，都将成为所有公司一种必然的发展趋势。资源的集中和人才的集中，有利于云平台技术的发展和对新硬件技术的应用，也有利于业务聚焦在自己的核心逻辑开发上，应该积极拥抱云。

▲更多信息尽在IT168现场报道专题：http://www.it168.com/redian/sacc2016/