源码网,专注为站长提供最优质的源代码服务 CSS3演示 | 站长工具 | 网页特效 | 网页模板 | 网页素材 | PSD素材 | 手机系统 | W3C教程
广告加载中...
当前位置: 源码网 > 站长资讯 > 互联网 > >文章

以今日头条为例,详述数据思维驱动产品设计的方法论

时间:2017-07-21 15:23点击: 次 【

模板交易 网站模板 CMS模板 免费模板 模板交易平台

  品牌推广就用这几招,七月活动立减500-1000元

  本文源于今日头条算法工程师曹欢欢的分享,笔者结合自身理解和思考加以总结梳理,力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

r2zWuq3az0PTMOZtmvea

  今日头条用了短短5年时间,成为移动端新闻媒体的独角兽,2016年末,完成10亿美金D轮融资,估值近110亿美元,成功挤入互联网第二梯队。如一句老话所说,世上没有平白无故的成功,当了解了今日头条如何打磨产品功能和交互设计后,笔者发现其成功是必然的,也是有迹可循的,这一切都源于自上而下的数据化思维。

  本文源于今日头条算法工程师曹欢欢的分享,笔者结合自身理解和思考加以总结梳理,力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

  本文共分六个模块:

  一、今日头条前世今生–介绍今日头条近期数据,今日头条的源起

  二、数据思维做产品–CEO张一鸣如何解读数据思维,详述三个方法论

  三、数据思维指导算法演化–头条推荐算法概述

  四、今日头条的A/B测试系统–超级强大的科学实验系统

  五、需求从何而来?数据收集到何种程度?–科学严谨的实验态度处理需求,收集全量用户行为

  六、如何低成本完成有效A/B测试–A/B测试的原则,注意事项、实践方法和案例分析

  一、今日头条前世今生

  介绍方法论之前,我们来看看今日头条究竟有何成功之处。今日头条是一个个性化信息推荐平台,基于大数据和人工智能,做到信息推荐的千人千面,2017年6月数据显示,今日头条日活用户超7700万,月活用户近1.8亿,日均使用时长超76分钟,日均启动次数超13次,如此活跃的数据,出现在一个新闻信息类应用实属罕见。接下来,笔者带着大家来一起探秘今日头条的成功之道——数据思维打磨产品。

i8UL9MdtF1hn0nLdF4c3

  今日头条从起名字开始就运用了数据思维,创始团队没有头脑风暴,没有投票,没有老大拍板儿,而是采用科学实验的方式,通过数据观测确定了头条的名称。实验方法如下所属:

  首先,将appstore上各类免费榜单的前10名整理出来,然后根据名字归类(朗朗上口白话类,内涵情怀类,模拟特殊声音类,公司名+用途类等),分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。

  其次,分渠道A/B测试,确定先验效果类似的发布渠道,分别投放,界面功能logo完全一样,统计各个渠道的用户下载和活跃等核心数据指标,《今日头条》效果最好。

  二、数据思维做产品

  今日头条CEO张一鸣所定义的数据思维包含三个维度:

  收集数据。无偏,全面,客观。

  做出决策。根据数据做决策,抛弃主观经验,情感因素,做到客观解释。

  高效执行。3个方法论(归纳总结,A/B测试,双盲交叉验证)+高效A/B测试系统

  1、归纳总结–最朴素的数据思维工具

  按照特定维度对目标排序,分析top对象在特定属性上的共同点。

  2、A/B测试——科学产品观的关键

  (1)A/B测试定义

  A/B测试是一种把实验对象随机分组,把一个或多个测试组的表现与对照相比较,进行测试的方式。

  (2)A/B测试目的

  通过科学实验设计,在保证采样样本无偏,有代表性的前提下,流量分割与小流量测试等方式,获得具有代表性的实验结论,并确信该结论在推广到全部流量可信。

  注意事项:测试组和对照组不要设计多个变量同时测,一次实验只设置唯一变量,同时实验组内分小组,尽量保证组间数据随机分布,便于分析数据波动影响。测试前需要定义核心观测指标,通过指标数值变化,确定实验结果的好坏。

tmI6mhSWxGi7cUS2AXVk

  3、双盲交叉验证——确保信息审核高效快捷

  交叉验证用得最多的场景是涉及到人工运营的场景,在评估时需要人工介入为文章分类,以保证推荐的准确,那么评估和审核都需要依赖人,人员能力的差异和流动性导致评估和审核标准会变来变去,这就需要机器可以监控人的行为,每个评估的运营人员有自己一个任务队列,把一个要评估的样本至少放到两个以上的评估队列里面去,就意味着一个样本最少有两个人看过,如果他们意见不一致,我们有一个资深的仲裁小组进行仲裁。

  三、数据思维指导算法演化

  推荐算法是今日头条产品的灵魂。头条推荐算法是一系列算法的策略的组合,每一个子系统的改进都会对系统整体造成影响。

  推荐排序模型:数百亿特征,涵盖你能想到的一切可以帮助做判断的信息。

  推荐召回模型:若干策略独立的负责判断,哪些内容有资格进入排序算法。

SOzzhjHNwmc4jxBKd8cE

  一个排序模型,搭配多个召回模型,通过召回模型做初筛,然后反馈给排序模型,节省99%的处理资源,推荐更快捷。

  对推荐效果可能产生影响的因素:候选内容集合的变化、召回模块的改进和增加、推荐特征的增加、推荐系统架构的改进、规则策略的改变。

  四、今日头条的A/B测试系统

DKrRBaowynCDYLkUtXcw

  今日头条同时在线测试的实验有很多,每月多达有上百个之多,如何科学的分配实验流量,减少沟通,降低实验成本,做到实验结果可视化展示是必须思考的,于是出现了今日头条的A/B测试系统。

  系统实验创建属性:实验名称,实验时间,实验类型(共享or独占),过滤流量条件,实验组ID

  实验动作概述:动作收集,日志处理,分布式统计,写入数据库,数据可视化。

  独占实验。是指实验模型比较复杂,任何其他因素改变可能影响到实验结果准确性,所以用户不可以与其他实验共享,申请完成后,系统自动随机从流量桶中分配出流量用于实验,留出一半未调整用户,作为对照数据组,将实验数据桶分开,观察数据波动性,防止测试结果有偏。

p267sxF2to7VOJUjwnKm

  共享实验。是指实验模型只测试某类特定属性用户,可以与其他非相关属性的实验共用实验对象,流量桶分配逻辑与独占实验类似,但是当其用户可以分配到其他实验中,复用部分用户。如下图所示:

OWSfMDRyS7SG405dIdvV

  基于这套系统,基于数据分析协助产品功能迭代(经历几十个版本迭代),数百个有效改进上线,人均有效点击提升40%,人均停留时长提升50%。

  五、需求从何而来?数据收集到何种程度?

  1、需求从何而来

  互联网产品的需求一般来源于用户反馈或焦点小组需求收集,是一种信息的归纳总结,但是这部分数据是有偏信息,不可以简单粗暴的将用户反馈的需求作为直接需求,所谓会哭的小孩有奶吃,很多时候,用得很好的用户不反馈,用得不好的才反馈。如果你改变了,是不是伤害了那些不反馈的用户呢?

  其实你是不知道的,所以这些需求我们并不一定要做,只是先做一个候选实验的需求池。如果一个需求两三周持续在反馈,这个需求可能是一个强需求,那么做好了小渠道测试,用数据说话。

jdW5Ksv6kD6TGphcn4Gs

  2、WAP页面VS原生功能

  (1)原生功能

  优势:响应速度,复杂交互流畅,异常状态显示,缓存效果等。

  劣势:更新需要发版,出现问题无法快速调整。

  发布方式:先在小渠道发版测试,与老版本对比,如果一上来留存率降低5%,那这个改动肯定有问题。如果说波动在正负1之间,这个东西可能有用,可以大渠道发版A/B测试。今日头条可以做到从应用市场提交同一个版本,但是用户下载之后,通过服务端的远程控制,让每个人看到的界面是不一样的,确认没有问题后,将改进合并到主开发分支。

  (2)WAP页面

  优势:随改随上,反应迅速

  劣势:一些交互和问题场景没有原生体验好

  发布方式:利用A/B测试系统,随测随发,出现问题随时调整下架。

9a1Pa25x94d1wQ1R7Qpa

  3、“全量”用户行为数据收集

  根据人的特征(职业,年龄,性别,兴趣爱好,机型,短期点击行为,搜索行为,收藏行为)

  根据环境特征(场景,时间-饭后或周末,网络环境-wifi或移动流量)

  根据文章特征(文章时效性,文章热度,相似文章,点击和不点击是有偏的,停留时间,阅读的细节行为收集)

推荐文章
热门文章榜