Notice: Constant WP_DEBUG already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 12

Notice: Constant WP_DEBUG_LOG already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 13

Notice: Constant WP_DEBUG_DISPLAY already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 14
【转载】小米欧阳辰:小米营销大数据和算法的小实践 – zoues

LOADING

Follow me

【转载】小米欧阳辰:小米营销大数据和算法的小实践
四月 26, 2017|DockerPaaS

【转载】小米欧阳辰:小米营销大数据和算法的小实践

【转载】小米欧阳辰:小米营销大数据和算法的小实践

小米欧阳辰:小米营销大数据和算法的小实践

4月20日,Morketing联合亚马逊AWS,成功举办了主题为“云计算撬动的数字营销”高端研讨会,小米公司MIUI商业产品部研发总监欧阳辰现场发表了主题为《小米营销大数据和算法的小实践》的精彩演讲。介绍了小米营销,以及系统架构、大数据架构、算法架构以及最近如何用区块链解决营销领域数据安全和透明的问题。

小米欧阳辰:小米营销大数据和算法的小实践

小米公司MIUI商业产品部研发总监 欧阳辰


小米欧阳辰:小米营销大数据和算法的小实践

小米营销业务简介

小米欧阳辰:小米营销大数据和算法的小实践

小米是一家手机公司,也是一家互联网公司,小米在提供高性价比和感动人心的硬件产品同时,也不断通过软件和服务创新为用户提供价值,为广告主提供创新的营销解决方案。小米作为移动厂商做广告,从第一天起就在不断探索更好的用户体验和营销效果。小米营销的广告形式包括应用分发,搜索,信息流,视频,OTT等。

小米欧阳辰:小米营销大数据和算法的小实践

小米欧阳辰:小米营销大数据和算法的小实践

 

在用户体验保护方面,小米投入了很大的努力,包括设计更灵活的广告关闭方案,相关性提升,用户分桶实验,各种a/b测试以保证用户体验。小米营销最早是从应用分发开始,应用分发中的创新也最多,例如我们是行业内最早推出应用市场的搜索广告,比苹果公司还要早上半年以上,我们还整合了在各个应用上的信息流进行统一的商业化,包括新闻资讯、浏览器、工具类的产品,这些产品都内置信息流,为了实现整合营销,我们打通手机各个广告位,通过以人为本的营销,提升转化效果。我们也努力在用户体验、收入、广告主的需求上达到了很好的平衡。


小米欧阳辰:小米营销大数据和算法的小实践小米营销业务架构

小米欧阳辰:小米营销大数据和算法的小实践


小米欧阳辰:小米营销大数据和算法的小实践

讲到架构,包含广告帐户的存储、画像、效果跟踪、存储层等。上面一层是算法层,包括点击预估、相关性分析,平缓预算,再上面的架构层,包括引擎层,效果的广告返回、品牌广告返回,还有一些优化的工具。最外面有一些SDK和网站的应用层,面向不同的广告主,在边上会有一些数据平台,会有一些实时的数据分析调查。

 

小米手机的日活是1亿多,用户在使用移动产品,无论是流量器、商店、小米视频、小米其他的应用产品,包括游戏等都会访问我们的广告服务器,所以我们有非常大的广告流量。

 

在线服务层以Java技术为主,Java是强类型语言,比较适合比较规范商业化产品的设计和开发。部分广告索引也会使用Lucene来进行索引,在线存储有三层,最快的一层是redis,可以保证很高吞吐的存储,但对机器资源耗费比较大,第二层是Aerospike,充分利用ssd提高容量。第三层是Aerospike之下是HBase,提供了更大容量,但一定程度牺牲了性能。对于实时数据分析,我们采用了Druid来做数据监控,能够做到很好的实时性,对系统消耗非常少。据我了解,Druid广泛应用在各个互联网公司的广告平台和用户行为分析。这是中间的引擎层,离线数据跟很多公司不一样,包括Hadoop和Spark。


最下面是基础架构,其中包括小米开源的监控软件Openfalcon,它能够监控各机器的性能,各服务的不同指标,能够报警,发短信等等已经开源。可以看到,我们所选用的软件架构都是行业里或者说开源里相对比较成熟的。

小米欧阳辰:小米营销大数据和算法的小实践

小米广告大数据架构

小米欧阳辰:小米营销大数据和算法的小实践

小米欧阳辰:小米营销大数据和算法的小实践

小米大数据的架构,从数据采样、存储、管理的分析如图所示。最底层是数据采集,每台机器都有一个代理软件可以把数据收集起来。KUDU是去年开源的一个项目,他的定位是在HBASE和Hadoop之间,HBase的随机扫描有很大的优势,而Hadoop却优在批处理数据,Kudu就是把这两个优势结合起来。数据算法包括机器学习和深度学习等工作。对于小米广告数据分析平台,一开始基本上以天为单位出报表,后来把数据存在nosql中,再后来采用Kafka再用druid分析存储。

 

对于数据分析流,我们有两条线,一条是通过Kafka通过Druid,可以拿到各种分析结果,我们做AB测试、效果评估,基本上几秒钟就能知道结果。或者说你上线的一个改动,就可以知道收入有没有损失。关键质量很快就可以知道上线有没有问题。

 

最近半年,我们也在深度学习上进行积极的探索,在很多图象识别、视频识别和广告里的点击率也在尝试深度学习来解决一些问题。我们选用的Google开源出来的Tensorflow深度学习平台和kubernetes软件做一些资源调度和管理,支持小米的各个业务,包括广告、金融、相册还有一些搜索的场景。


小米欧阳辰:小米营销大数据和算法的小实践

小米广告数据和算法

小米欧阳辰:小米营销大数据和算法的小实践

小米欧阳辰:小米营销大数据和算法的小实践

我们在算法很多方面投了很多资源在做,包括点击率预估。我们也尝试采取用深度学习的方法来点击预估的问题,但还是有一些挑战,特别是选定网络结构后,可调的参数会弱一些,另外一些是广告的点击数据,毕竟数据很少,深度学习在信息流的推荐上有很大成功,我们也在努力将这种成功模式应用在广告点击率预,但其中也有比较大挑战,特别是广告点击数据较少。

 

另外是用户画像,给用户贴一些标签,标签会分为相对基础标签、兴趣标签、行为标签。还包括Lookalike算法,找到好的种子用户以后,怎么根据种子用户区拓展,最后做一些点击率的方法来看出阔展的效果是好还是不好。


小米欧阳辰:小米营销大数据和算法的小实践

反作弊也做了一些事情,作弊是移动流量的灰色地带,但因为利益关系,有的对作弊流量坚决反对,有的是睁一只眼闭一只眼。我们正在研发一种系统级别的反作弊技术,通过软件和硬件综合的方法辨别是不是来自真机器的流量,有些流量虽然来自于真的手机流量,但可以检测手机邮没有SIM卡,有没有WIFI,是不是一天24小时开屏,这些信号都能帮助我们鉴别手机有效还是无效的流量。

 

还有包括广告主,怎么给广告主一些洞察,建议他出价买哪些人群,有很多大数据的算法在后边做引擎,还有自己以DSP的方式帮助优化,一些广告主的用户群和竞价方式不太容易适合统一的定价模型,所以会有一些特别的ROI的优化。比如说在游戏里,他有一些白鲸用户用户,可能占收入的80%,有时候在这方面可能会多做一些精细化人性筛选,帮助游戏广告主的优化,系统级的优化。


小米欧阳辰:小米营销大数据和算法的小实践

CTR模型预测的三大部署,来自用户信号、广告信号、上下文环境,第二步是在离线做一些模型训练,我们都会去评价他的好坏,评价完我们会把他放到线上,用小流量去测试,然后加码到5%-10%的流量,然后跟另外的10%做对比。整个过程看起来很复杂,实际做的过程中也是一步步做的,目标也是ctr或者eCPM。

     

反作弊最开始有最下面的防范,规则非常有用,但规则比较难,再上面就是机器学习,机器学习对一些恢复流量、数据分析还是很有帮助的。再上面有很多非标准化处理的作弊方法,比如说你对某个流量不自信的时候,可以给这些流量一些特别广告,这些广告内容应该点击率很高,或者一些点击率很低的,比如你投放的是空白的广告,你投过去以后点击率发现没有变化,说明流量还是有问题。所以有很多有意思的做法来做一些虚假流量的检测。

 

Lookalike技术,在不同的算法上会打一些不同的标签,这个算法得分多少、那个算法得分多少,最后在线上投放,看一看哪个算法的点击率高,哪个算法的点击率和他是正相关的,通过这个方法能够找到一个比较合适的算法,这个过程是蛮有意思的过程。


小米欧阳辰:小米营销大数据和算法的小实践

探索基于区块链的营销解决方案

小米欧阳辰:小米营销大数据和算法的小实践


现在广告行业里特别是程序化购买,其实主题是数据透明和安全,原因是为什么?流量有很水分,劣币追逐良币,我们想了一个办法是区块链,了解比特比的人都知道,区块链的特点是去中心化,安全、不可篡改等特点。所以我们探索怎样利用区块链的技术,能够在广告营销里、程序化购买里推动整个行业的净化。

 

区块链技术来自于比特币,他提供非常稳定的基础框架,区块链在银行里用的挺多,包括保险,都开始尝试数据安全的问题。


小米欧阳辰:小米营销大数据和算法的小实践

 

我们在区块链探索上,利用了Hyperledger联盟区块链技术,这个技术组织有120多家的成员,1/4来自中国,包括招商银行、万达等很多中国公司,其中有很多金融公司、技术公司。小米也倡议和探索基于区块链的营销解决方案,用于解决营销程序化购买里的痛点。具体解读如图。区块链最大特点数据不可篡改,这样在品牌安全的审计或者说预防上都有非常大的帮助。

 

我们希望中国有一个区块链的联盟,为营销服务,通过技术手段净化整个广告市场!


(以上文字由现场发言改编而来)


小米欧阳辰:小米营销大数据和算法的小实践

no comments
Share