大数据前沿技术分析与应用

1、深刻理解在“互联网+”时代下大数据的产生背景、发展历程和演化趋势；

l2、了解业界市场需求和国内外最新的大数据技术潮流，洞察大数据的潜在价值；

第一部分 大数据技术基础

一.  大数据的产生背景与发展历程

二.  大数据的4V特征，以及与云计算的关系

三.  大数据应用需求以及潜在价值分析

四.  业界最新的大数据技术发展态势与应用趋势

五.  大数据项目的系统与技术选型，及落地实施的挑战

六.  电信运营商、互联网金融、移动互联网行业应用实践与应用案例介绍

第二部分 大数据主流技术方案

一.  大数据软硬件系统全栈与关键技术介绍

二.  主流的大数据解决方案介绍

三.  Apache大数据平台方案剖析

四.  CDH大数据平台方案剖析

五.  HDP大数据平台方案剖析

六.  大数据解决方案与传统数据库方案比较

推荐系统的理论、设计与应用实践

1、 了解大数据基础知识，理解大数据思维方式。

2、 学会推荐系统搭建的框架和思路，掌握常用推荐系统算法方法来分析问题。

3、 熟悉推荐系统搭建的基本过程，掌握高级推荐算法库操作。

第一课：互联网大型智能推荐系统线上总体工程架构设计与实践

1. 互联网大型系统架构演进（单体、水平分层、SOA、微服务架构）；

2. 推荐系统架构演进（石器时代、铁器时代、蒸汽时代）；

3. 我们的实践案例；

第二课：互联网大型智能推荐系统离线工程架构设计与实践

1. 离线训练作坊模式（单机）；

2. 离线训练流水线模式（ODS、DW、DM、分布式训练、线上预测等/DataPipeline、T raining Pipeline、Model Serving）；

3. 离线训练平台化模式（服务众多业务线，每个业务线一键接入）；

4. 在线特征系统生产调度架构演进；

5. 我们的实践案例；

第三课：互联网大型智能推荐系统召回算法设计与实践

1. 商品主题模型；

2. 商品物品词模型；

3. 基于内容商品相似度模型；

4. 基于用户行为的CF模型演进；

5. 基于随机游走模型；

6. 实时召回模型；

7. 我们的实践案例；

第四课：互联网大型智能推荐系统排序算法设计与实践

1. Al l  In  One阶段；

2. 分层排序阶段；

3. 人工权重阶段；

4. 机器学习模型阶段；

5. 实时模型阶段；

6. 我们的实践案例；

大数据应用

1、了解用户画像的业务应用及构建方法.

2、了解用户画像的建模体系。

3、掌握用户画像平台技术及应用。

1. 用户画像理论与基础

1） 什么时是用户画像

2） 用户画像应用业务需求

3） 用户画像对于数学的要求

4） 如何构建用户画像

a) 数据源分析

i. 用户相关数据分类

b) 目标分类：

i. 用户标签

ii. 用户权重

iii. 用户画像的标签设计方法及层级设计

c) 如何通过算法自动化生产标签：分类，聚类

5） 时间衰竭模型在画像上的应用

2. 用户画像建模体系

a) 用户识别方式

i. Cookie

ii. 注册ID

iii. Email

iv. 微博、微信、QQ

v. 手机号

vi. 身份证

b) 用户画像数据纬度：

i. 用户自然特征

ii. 用户社会特征

iii. 用户兴趣特征

iv. 用户消费特征

v. 用户终端喜好行为

vi. 用户APP应用趋势

vii. 用户信用风险维度

viii. 用户流量趋势分析

c) 结合电信数据＋渠道数据＋用户数据

3. 用户画像平台技术方案

4. 案例：某运营商用户画像平台

案例分析： 用户画像在市场营销领域的应用举例

1） 利用大数据进行多维度客户建模，形成客户肖像；

2） 利用大数据准确识别客户需求进行精准营销，千人千面营销

3） 同业经验举例与介绍

案例分析：用户画像在市场营销领域的应用举例

4） 利用大数据进行多维度客户建模，形成客户肖像；

5） 利用大数据准确识别客户需求进行精准营销，千人千面营销

6） 同业经验举例与介绍

案例分析：用户画像在反洗钱领域的应用

1） 相关的技术处理机制以及常见处理工具介绍

2） 相关应用以及同业应用举例

案例分析：用户画像在风险管理领域的应用举例

1） 如何利用大数据分析与建立反欺诈统计模型

2） 如何利用大数据防范钓鱼网站攻击、信用卡套现、盗刷信用卡，目前业界给出的解决方案；

3） 风险管理领域的技术处理机制以及常见处理工具介绍；

4） 同业经验举例与介绍

案例分析：用户画像在流失分析的应用举例

1） 如何利用大数据分析与建立反欺诈统计模型

2） 如何利用大数据防范钓鱼网站攻击、信用卡套现、盗刷信用卡，目前业界给出的解决方案；

3） 风险管理领域的技术处理机制以及常见处理工具介绍；

4） 同业经验举例与介绍