搜狐李修鹏:个性化推荐架构设计和实践

搜狐李修鹏:个性化推荐架构设计和实践

【IT168 现场报道】2016年10月27日-29日，2016中国系统架构师大会(SACC 2016)在北京万达索菲特大饭店盛大开幕。作为中国规模最大的架构师豪门盛会，本届大会以“架构创新之路”为主题，站在创新的风口上，与大家共同打造一场通过架构创新及各种IT新技术来带动企业转型增效，助力架构师们腾飞的技术盛会。

大会云集了国内外顶尖专家，共同探讨云计算和大数据等技术背景下，如何通过架构创新及各种IT新技术来带动企业转型增效。本届大会共设置两个主场分享时段，24个技术交流专场时段；邀请来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域，150多位技术专家及行业领袖来分享他们的经验；并将吸引4000多名系统运维、架构师、及各种企业的IT决策人士参会，为他们提供最具价值的交流平台。

2016中国系统架构师大会的第一天下午，我们迎来了主题为“大数据平台架构及应用实践”的专场，今天下午的第一位演讲嘉宾是搜狐视频推荐系统技术主管李修鹏，他演讲的题目是《搜狐视频个性化推荐架构设计和实践》。

▲搜狐视频推荐系统技术主管 李修鹏

李老师2012年入职搜狐视频，一直从事大数据处理、推荐系统架构设计开发和机器学习等方面的研究和实践工作，2014年开始负责搜狐视频的个性推荐系统的基础架构设计和系统开发。

李老师主要介绍搜狐视频个性化推荐系统的架构和具体实践。主要会从五大方面剖析推荐系统的架构设计和实践，包括：多维度召回模型构建、特征工程、大规模机器学习排序、分布式推荐引擎、知识库体系。

介绍基于自然语言处理、行为日志分析、知识库体系等基础上构建的视频画像、用户画像和评分系统为基础构建的多维度分析的召回模型。

为什么要做推荐系统？李老师表示：“视频的覆盖率问题，好的视频无法难以被人发现，随着用户的量的增加，大部分用户存在没有特殊明确的需求场景，需求解决也比较迫切，帮助用户发现对自己有价值的视频，让视频展示对他感兴趣的用户面前，实现消费者和内容生产者双赢。”

个性化推荐产品形态

搜狐视频首页个性化，通过首页下拉进入个性化推荐消费流，在应用宝和百度手机助手等部分渠道可以下载，ios版本也于下个版本进行上线。

整合全站视频资源，通过“推荐引擎”和“视频处理引擎”将个性化、新鲜的视频快速分发到以适合场景，以合适形式传递给适合用户。

推荐系统架构：

李老师介绍，前段三种日志的上报、数据采集、进入实时计算、离线计算，通过调用各种算法模型、得出各种模型，通过推荐引擎对各个模型的结果进行封装得到推荐结果。

换个角度，看推荐系统服务体系架构图，推荐系统两大核心子系统即推荐引擎和视频处理引擎，通过两大引擎为中控，调用各个组件服务，产生推荐结果。

接下来，李老师介绍了基础特征工程，通过非线性特征变化构建高级特征的实时特征工程为基础，开发的一套online+offline的机器学习排序系统。

推荐引擎：

推荐引擎为基于storm计算框架开发的分布式计算程序，推荐引擎之前提供一个作用就是产生推荐结果，还有一个作用就是更新部分用户实时画像。

推荐结果和用户画像在分布式情况下进行更新，有一个很重要的点就是一致性问题，我们主要通过两步进行包装的，一个是模块内部统一个用户Ukey的数据只有一个独立的storm的计算task保证的。第二个是模块间通过CAS包保证的(compare and swap)。

如何评价推荐系统？

基于开发的分布式推荐引擎连接各个核心子系统的架构设计和具体实现。主要技术点:实时大数据处理和计算架构、分布式系统设计、实时特征工程系统、自然语言处理系统、大规模机器学习的排序系统，A/B测试架构设计。

▲更多信息尽在IT168现场报道专题：http://www.it168.com/redian/sacc2016/