56.com 视频推荐与大数据架构介绍.pdf

视频推荐与大数据架构介绍 56搜索组团队 余镇源 用户数据挖掘与视频推荐 怎样通过大数据挖掘用户价值？ 用户行为 用户观看，评论，转贴分享等行为数据收集 推荐引擎 正向：多种推荐引擎结合计算 推荐数据 待推荐视频排序并展示给用户 用户反馈 反向：相关视频反馈系统与个性化反馈系统 环形 正向与反向收集与计算，自动调整优化系统 用户行为收集 用户行为收集 行为类别 行为类别 录入数据量 录入数据量 每天行为记录 千万级别 每天用户反馈行为记录 千万级别 行为数据总量 几十亿级别 登录与非登录用户 亿级别 推荐引擎系统 如何做推荐引擎？思路。 推荐引擎系统 推荐引擎系统 正向:协同过滤推荐计算 反向:相关视频反馈系统 推荐引擎业务应用 相关视频： 转化率提升： 1）主站播放页原来8%转化率 25%转化率 2）手机客户端达40%转化率 实现效果： 1)旧算法：文本相关，缺点：太依赖文本信息，文本不相关但内容相关不能找出来，文本太相关主题不 发散。 2)新算法：完全依赖用户行为转化成视频相关，实现相关又发散的效果，主题可以发散 推荐引擎业务应用 猜你喜欢： 1 个人中心与首页推广使用 （18%转化率） 2 准备投入播放页面使用（预计千万请求量无缓存） 大数据后台的系统架构 分布式存储 HDFS分布式文件系统,HBase列式存储数据库 分布式计算 Yarn资源调度系统，MapReduce ,Spark计算引擎 分布式搜索 SolrCloud分布式搜索，以及Hbase推荐服务入口 集群 Hadoop,hbase,solrCloud集群架构 性能 各集群数据性能 大数据分布式存储与计算架构 分布式搜索架构 完整服务流程例子? 硬件配置 1）搜索集群架构 （solrCloud集群） 5台布置了两个zookeeper集群 (solrCloud以及hadoop系列使用) 16台机器做搜索solrCloud服务 （64G RAM+24cpu+256GSSD） 2）分布式存储与计算架构（ hdfs,hbase ,yarn） HBase/HDFS: 10台存储*10个硬盘*64G*24cpu+2台namenode Yarn:30台结点计算，虚拟分配 20G*10台+8G*16台+4G*4台 Yarn中使用搜索机器共享出来的内存与cpu做计算使用 Hadoop HBase Hbase吞吐量 hbase高峰期，每秒并发读200万左右（主要是MR计算），平时是4000/s读请求 HDFS性能 HDFS 文件系统 数据读写吞吐量平均如下，高峰则2G/s 总量200多T 搜索性能 展望 运用Spark计算框架 ，视频准实时推荐计算（图计算），广告业务等 谢谢 谢谢！