课程介绍
【培训背景】
在大数据时代,数据可视化技术在广泛应用的同时,也面临诸多新的挑战。大数据可视化是一个面向应用的研究领域,大数据可视化就是将抽象的“数据”以可见的形式表现出来,帮助人理解数据。大数据可视化相对传统的数据可视化,处理的数据对象有了本质不同,在已有的小规模或适度规模的结构化数据基础上,大数据可视化需要有效处理大规模、多类型、快速更新类型的数据。这给数据可视化研究与应用带来一系列新的挑战。
【培训收益】
【适合人群】
Ø 大数据系统研发工程师
Ø 大数据分析师
Ø 数据安全研发人员
Ø 大数据应用开发工程师
Ø 数据可视化工程师
Ø 数据科学研究人员
【培训特色】
【授课专家】
刘老师 十年企业培训经验 | 中培特聘专家
拥有十几年软件研发经验,十年企业培训经验,对Java、Python、区块链等技术领域有独特的研究,精通J2EE企业级开发技术。
Java方向:设计模式、Spring MVC、MyBatis、Spring、StringBoot、WebService、CXF并且对Java源码有深入研究。
Python方向:Python OOP、Mongodb、Django、Scrapy爬虫、基于Surprise库数据推荐,Tensorflow人工智能框架、人脸识别技术。
区块链方向:BitCoin、Solidity、Truffle、Web3、IPFS、Hyperledger Fabirc、Go、EOS。
郭老师 上海软件协会考评员 | 中培特聘数据培训专家
国内数据治理专家、高级产品经理、优秀项目管理培训师,计算机专业硕士,曾任中国电信高级工程师,现任某信息技术公司产品及技术总监。上海软件协会高级讲师、上海软件协会考评员、共青团上海市委员会青年(大学生)职业训练营上海市政府指定讲师、浦东软件园高级讲师。18年+开发、设计经验,10年+数据治理培训/咨询经验,给多家上市公司企业研发团队做过培训或咨询业务,对企业数字化转型、数据治理、产品管理有着敏锐、独特的认知体系。
【结业证书】
参加培训并通过考试学员,由工业和信息化部教育与考试中心统一颁发《大数据挖掘技术(高级)》工业和信息化职业能力证书。
证书样本
开班计划
开课时间 | 授课形式 | 培训类型 | 上课城市 | 在线报名 |
---|---|---|---|---|
2025-06-26 | 面授+直播 | 精品班 | 北京 | 在线报名 |
2025-09-24 | 面授+直播 | 精品班 | 广州 | 在线报名 |
2025-12-27 | 面授+直播 | 精品班 | 长沙 | 在线报名 |
随报随学 | 录播 | 特惠班 | IT云课 | 在线报名 |
课程大纲
大数据挖掘、可视化与ChatGPT职场赋能培训班,标准公开课为3天,每天6小时,录播课为20课时,企业内训可按需求定制。
课程安排如下:
时间 | 知识模块 | 授课内容 |
第一天 上午 | 数据分析实战 | 第一讲 零基础学Python 讲解Python背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块,着重介绍Python在这方面的优势及用法。 |
第二讲 数据分析方法论 讲解统计分析基础,包括统计学基本概念,假设检验,置信区间等基础,并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路,并结合案例进行讲解。 | ||
第三讲 数据处理技法 从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入MySQL、Oracle、Hadoop等常见数据库操作;数据统计包含Pandas包的具体用法和讲解;数据转换包含对数据集的关联、合并、重塑等操作。此外,针对海量数据的情况下,介绍在Spark平台上的数据处理技术,并结合真实环境进行操作讲解。 | ||
第一天 下午 | 数据挖掘理论及核心技术 | 第四讲 认识数据挖掘 讲解数据挖掘基本概念,细致讲解业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术;结合业界经典场景,讲解数据挖掘的实施流程和方法体系。 |
第五讲 数据挖掘核心技术 细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理,并结合案例讲解其具体实现和用法。尤其针对样本平衡,重点讲解人工合成、代价敏感等算法;针对特征选择,重点讲解特征选择的核心思路,并结合Python进行案例演示。 | ||
第二天 上午 | 大数据算法原理及案例实现(1) | 第六讲 特征降维算法及Python实现 降维是大数据分析非常重要的算法,它可以在降低极少信息量的情况下,极大地缩小数据规模。主要讲解主成分、LDA以及t-SNE原理,并结合案例进行Python实现。特别地,针对海量数据情况下的应用场景,讲解实现思路和Python案例。 |
第七讲 决策树算法及Python实现 决策树是非常经典的算法,一般常见于小数据的挖掘。由于决策树具有极强的可解释性,针对海量数据仍然是非常重要的实用价值。主要讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理,并结合案例进行Python实现。 | ||
第八讲 好莱坞百万级影评数据分析与电影推荐实现 实战部分:基于好莱坞百万级的影评数据,对数据进行建模、清洗、透视表操作。然后根据用户画像分析不同的用户喜好通过机器学习算法对不同性别、年龄阶段的用户进行定制化的电影推荐,最后把推荐的电影进行可视化的展示操作 | ||
第二天 下午 |
大数据算法原理及案例实现(2) | 第九讲 因果推理算法及Python实现 大数据分析技术可以帮助我们去发现、解决一些业务问题,然而如何去判断我们的改进是否生效,是否在业务指标上呈现过一定的因果逻辑,则是一个重要问题和分析方向。本节主要介绍因果推理算法,包括贝叶斯推理、状态空间模型以及CausalImpact工具等内容,并结合案例进行Python实现。 |
第十讲 深度学习算法及Python实现 对于大数据的建模任务,我们可以基于深度学习来实现,不仅能够针对海量数据进行建模,其效果也非常不错。本节主要讲解深度学习的发展历程,DBN、DNN等经典深度学习算法,深度学习优化算法以及一些技巧。同时,介绍Keras、OpenCV库的使用方法,并结合案例进行Python实现。 | ||
第十一讲 采用YOLO实现计算机视觉技术 实战部分:基于YOLO面部模型,完成对图片和视频的人脸识别,实战中会讲解YOLO的重要类和函数。主要内容包括YOLO库的安装和部署、图像增强、像素操作、图形分析等各种技术,并且详细介绍了如何处理来自文件或摄像机的视频,以及如何检测和跟踪移动对象。 | ||
第三天 上午 | Python可视化应用实战 | 第十二讲 数据分析图表及Python案例 数据可视化是大数据分析的重要手段,通过合理地使用图表,不仅可以简洁地表达数据的含义,高效地发现问题,还可以为报告的编写以及数据分析web应用增色不少。本节主要讲解常用的数据分析图表及其使用场景,介绍数据可视化的方法论,避免生搬硬套的使用图表,针对不同的业务场景和需求,合理选择可视化方法。介绍的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可视化库。 |
第十四讲 使用Notebook编写数据分析报告 数据分析报告在大数据分析过程中具有重要价值,它体现了大数据分析的目的、过程和结果,以及对发现问题的解读、改进方案等等,本节主要讲解使用Notebook编写数据分析报告的具体方法,以及编写数据分析报告的方法论,并结合案例讲解其用法。 | ||
第十五讲 Seaborn可视化开发实战 Seaborn是一款不错的可视化框架,它和 Pandas一样是建立在 Matplotlib 之上的。可以基于Seaborn快速开发一个轻量级的数据分析web应用。在网页中嵌入图表、数据以及分析的算法,非常适合打造企业内部的敏捷数据分析工具集。本节主要介绍Pie、Scatter、Radar等等各种可视化解决方案,同时讲解一个用Seaborn实现数据分析功能(兼图表)的实际案例,搭建服务器,在企业内部实现轻量级数据分析应用。 | ||
第三天 下午 | ChatGPT职场赋能 | 第十六讲 GPT4 Plus 快速入门 首先了解以ChatGPT为代表的大语言模型的原理,并且对比介绍GPT3与GPT4的区别。接下来介绍如何在国内的环境下方便稳定的使用ChatGPT4。最后演示在GPT使用过程中如何高效的使用提示词,以及GPT4新特性:Custom Instructions 与角色设置 |