翁伟.利用20%时间开发推荐引擎.pdf

利用20%时间开发推荐引擎 weng.weizalora.sg Zalora 东南亚时尚电商 新加坡（总部）、印尼、马来西亚、文 莱、菲律宾、泰国、越南、香港、台湾 均有业务 成立一年，一千名员工 推荐引擎 购买自第三方 经过数月AB测试 无论是否有引擎，交易额都一样 替代方案 买个新的？ 组队全力开发自己的？ CTO：“我来” 一个月后 我 不准时上班 准时下班 某下午在刷微博 CTO：“你好像很有空？” 我是有原则的！ 不会的，不做 不清楚的，不做 不够时间的，不做 能做的（如果还有的话），要做好！ 所以. Hadoop？ 个性化推荐？ 海量数据？ 深度挖掘？ 需求分析？ 那还有什么能做的？ 数据 有哪些数据要存？ 不知道 数据结构（比方说订单属性）是怎么样 的？ 不清楚 那怎么存？ MongoDB 单表保存所有数据 tag: 版本化数据 怎么做增量更新？ 不清楚，不做 假设每天增加一个snapshot 数据需要分版本 处理数据 怎么处理？ 还是不知道 换个思路，把程序逻辑也视为数据 先不做等以后知道怎么处理再修改 但是 什么样的算法在访问什么结构的数据？ 不知道 程序访问数据之后，产生的结果 这个必须有定义 推荐：预生成排行榜 Key: 推荐类型 Target: 商品ID Score: 推荐 提供供前端php获得推荐 HTTP JSON 这么多不确定的因素 统计是必须的 对于前端PHP来说 已经可以获得推荐数据 但还不够 统计是必须的！ 需要统计效果 但运营人员怎么分析、比较数据？ 还是不知道 Google Analytics 修改前端PHP，添加新GA事件 推荐展示 点击推荐 加入购物车 还是不够，要AB测试 比较有推荐跟没有推荐的用户区别 原第三方推荐引擎经验惨痛 _ 作为一个20%项目 直接Hack掉原有给第三方推荐引擎调 用的AB测试代码 一些意外 来自Groovy Groovy Eval极其慢 我是会Python的 花了一晚上重新把核心用PY重写 果然很快 用PY推倒重来的理由 我不会Groovy Python比Groovy快 为什么Groovy Eval慢？ Groovy/JVM版本比PY快50% （当然瓶颈不在此） 来自多线程 Grails报告：对象被另一个线程修改了 MongoDB: findAndModify 多线程跟单线程一样快 来自运营 新推荐引擎跟旧的一样差！ 来自BI BI团队已经挖掘了很多数据耶 推荐引擎的数据可以直接为BI团队提供 的推荐结果 据说下周正式上线 谢谢 weng.weizalora.sg (欢迎投简历) weibo.com/Wuvist (吃货请谨慎关注) 关注我们：t.baidu-tech.com 资料下载和详细介绍：infoq.com/cn/zones/baidu-salon InfoQ 策划·组织·实施 关注我们：weibo.com/infoqchina “畅想交流争鸣聚会”是百度技术沙龙的宗旨。 百度技术沙龙是由百度与InfoQ中文站定期组织的线下技术交流活动。目 的是让中高端技术人员有一个相对自由的思想交流和交友沟通的的平台。主要分讲师分享和OpenSpace两个关键环节，每期 只关注一个焦点话题。 讲师分享和现场Q&A让大家了解百度和其他知名网站技术支持的先进实践经验，OpenSpace环节是百度技术沙龙主题的升华 和展开，提供一个自由交流的平台。针对当期主题，参与者人人都可以发起话题，展开讨论。