《大数据分析应用实践》内训

说明：本课程为江苏电力的内训课程，参与培训的学员请注册后加入学习。

大数据建模与分析挖掘技术已经逐步地应用到新兴互联网企业（如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等）、银行金融证券企业、电信运营等行业，给这些行业带来了一定的数据价值增值作用。

本次课程面向有一定的数据分析挖掘算法基础的工程师，带大家实践大数据分析挖掘平台的项目训练，系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业务模型中，结合主流的Hadoop与Spark大数据分析平台架构，实现项目训练。

结合业界使用最广泛的主流大数据平台技术，重点剖析基于大数据分析算法与BI技术应用，包括分类算法、聚类算法、预测分析算法、推荐分析模型等在业务中的实践应用，并根据讲师给定的数据集，实现两个基本的日志数据分析挖掘系统，以及电商（或内容）推荐系统引擎。

本课程基本的实践环境是Linux集群，R软件，JDK1.8， Hadoop 2.7.*，Spark 2.1.*。

学员需要准备的电脑最好是i5及以上CPU，4GB及以上内存，硬盘空间预留100GB（可用移动硬盘），基本的大数据分析平台所依赖的软件包和依赖库等，讲师已经提前部署在虚拟机镜像（VMware镜像），学员根据讲师的操作任务进行实践。

本课程采用技术原理与项目实战相结合的方式进行教学，在讲授原理的过程中，穿插实际的系统操作，本课程讲师也精心准备的实际的应用案例供学员动手训练。

对本课程感兴趣或课程培训咨询，请联系钟老师：13426380794@163.com，或者本站点注册后发送私信给收件人：zhongyunqin

以下是课程需求要点：

需求要点一：

• MapReduce的计算过程原理
• Spark作业调度、阶段划分原理
• 使用Java/Scala开发spark应用及提交运行的方法步骤
• 较常见的Spark应用程序问题、解决办法及优化办法
• YARN资源调度管理的原理及常见优化办法
• 其它一些大数据生态圈的热门技术原理和适用场景等介绍

• 需求：如何数据挖掘和分析模型如何建立，以及典型案例介绍
• 方向：数据挖掘与数据分析
• 内容：学习和使用R语言，了解R原因应用场景及优劣，结合实际案例学习数据挖掘和数据分析的方法，学习R语言结合大数据开发案例。

• 需求：如何完成一个异常交易识别模型搭建和应用
• 方向：机器学习 
• 内容：机器学习包括人工智能，数据挖掘，模式识别等技术，其实都是回归，分类器，聚类，频繁模式挖掘，神经网络等等，
• 本次培训内容希望包括一个完整框架的搭建、一个简单模型的建立、使用、以及逐步演进的演示。