(一)大数据时代DT
大数据时代(DT)已经到来,它俨然成为了企业的战略资源,成为了提高竞争力的关键要素。为此,各个行业都开始用数据指导决策,从微信朋友圈、淘宝京东等电商APP的商品推荐,今日头条、抖音快手等媒体的新闻和视频推送,甚至到出行路线优化,这背后,都严重依赖于以数据为基础的决策结果。DT时代,未来科技ABC,互联网是基础设施,云计算是公共服务,大数据是核心资产,人才是发动引擎。
随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。国家信息中心《2018中国大数据产业发展报告》对我国大数据产业发展的人才、政策、投融资、创新创业、产业发展、区域潜力、机构和人物影响力等多个维度进行了全面分析。结果显示,我国大数据发展总体处于起步阶段。但大数据领域资本热度依然坚挺,并逆势上扬,大数据企业融资总额及单个项目平均融资金额呈加速上升态势,大数据领域成为资本蓝海。
(二)政府大力发展大数据产业
习总书记和中央政府高度重视大数据的发展行动,从2015年开始,大数据连续4年被写入政府工作报告,体现出大数据对产业提升的重要性。2018年3月5日“两会”政府工作报告中再次提及大数据与人工智能,引起业界的强烈关注。报告中提到“要做大做强新兴产业集群,实施大数据发展行动,加强新一代人工智能研发应用,在医疗、养老、教育、文化、体育等多领域推进‘互联网+’。发展智能产业,拓展智能生活。运用新技术、新业态、新模式,大力改造提升传统产业,加强新兴产业统计。”
(三)大数据岗位及职业发展
从岗位来看,由大数据开发、挖掘、算法、分析、到架构。从级别来看,从工程师、高级工程师,再到架构师,甚至到科学家。而且,契合不同的行业领域,又有专属于这些行业的岗位衍生,如涉及金融领域的数据分析师等。
大数据的相关工作岗位多,有数据分析师、数据挖掘工程师、大数据开发工程师、大数据产品经理、可视化工程师、爬虫工程师、大数据运营经理、大数据架构师、数据科学家等。
业务面广、适用性强:涉及客服、人力资源、财务管理、市场策划、销售运营等
企业普遍重视、岗位升职空间大:主要包含了大数据系统运维工程师、大数据系统搭建工程师、大数据开发工程师、大数据测试工程师、大数据系统架构师等岗位
云计算人才需求量大,不仅有互联网公司,更多岗位适用私企、外企、央企、业务出海等,相当于计算机、软件等传统岗位的高级版。
日常工作内容:第一是大数据平台的建设,让获取数据、使用数据更加容易,构建完善的指标体系,实现对业务的全流程监控,提高决策效率,降低运营成本,提升应收水平;第二是数据需求规划与设计,形成数据产品,对内可以提升效率,控制成本,对外增加创收,最终实现数据价值的变现。
日常工作内容主要有五类。第一是基于用户的数据研究,第二是对于个人的算法研究,第三是行业应用的数学模型搭建,第四是产品的知识库,第五是非结构化数据处理,包括文本挖掘、文本分析、语义分析、图像识别等。
日常工作内容有三个方面:第一是数据的采集,比如爬虫、日志采集等;第二是数据预处理、ETL工作,比如数据清洗、转换、集成、规约等;第三是大数据应用和可视化的开发。
利用大数据工具与数据化思维,影响着我们生活、学习、工作,可以在个人健康、公司管理、子女教育、财富投资、社交圈、商业分析、娱乐体验、旅游出行及科学决策等各方面的数据经营知识,收获个人真正的数据价值。
(四)众元课程介绍
4.1课程体系优势
众元网络充分了解行业特点并持续跟踪大数据人才就业的趋势,结合学校专业设置的特点,对大数据课程进行精准分类,为计算机方向/数学统计方向设计了特色技能的课程与实操项目。
课程设计科学,提供数据能力的进阶通道:专业课程(知识)实习计划(实训+技能)就业计划(岗位+能力)
4.2技能培养优势
众元网络联合多位大数据专家,通过沉浸式的“岗位经历”,精准定义“岗位标签”,量化技能点。
在此基础上为学员量身定制技能培养方案,快速训练综合技能,完全匹配企业岗位的输出标准。
通过标准化、场景化的大数据平台应用、数据分析案例,嵌入企业真实的项目实训,达到企业需求的合格人才输出。
4.3课程目标及对象
本课程面向有志进入数据科学领域的学员提供全方位的技能训练,以大数据行业/企业岗位的人才输出为目标,企业项目需求的专业技能实训,并以《大数据平台及分析应用》为核心,重点讲解大数据平台搭建、大数据场景分析、数据思维与数据挖掘、实战Hadoop/Spark演练等实操项目,快速掌握必备数据工具+全栈式数据分析的职场技能。
4.4专业能力培养
结构化数据思维与统计分析;
数据分析、数据挖掘的方法论;
全栈式的云服务设计、架构与管理;
数据洞察与商业分析;
大数据系统规划、设计、研发和搭建;
数据采集和数据处理;
数据可视化与决策分析
数据决策(金融方向)
数据产品设计与开发
4.5课程大纲与数据技能
序号 | 课程名称 | 课程内容概述 |
1 | 数据思维与商业分析 数据分析 (课时:4课时) | 介绍基本的结构化思维与相关方法论,使学员能使用结构化思维进行业务思考 介绍常见数据分析的工作方法、常见的数据分析格式与手段 |
2 | 大数据全栈基础 大数据架构设计 (课时:12课时) | 系统介绍Linux 全栈数据基础、MySql/NoSQL数据库应用与维护、git/github代码仓库等 介绍互联网数据的架构设计、典型商业案例等 |
3 | 云计算主流应用实战 (课时:8课时) | 介绍如何在云计算上构建主流的应用服务,包括Web站点、博客、CMS、MOOC、代码托管等系统 |
4 | 公有云构建大数据分析系统 (课时:24课时) | 介绍如何在公有云上构建大数据商业分析与数据挖掘,包括推荐系统、BI、数据仓库、交互查询OLAP等系统 |
5 | 数据挖掘与统计模型 Python数据分析基础 (课时:24课时) | 介绍数据科学最新发展现状,给学员建立数据挖掘初步概念 介绍数据挖掘的历史,常用工具 介绍Python语言基础、机器学习的数学、统计等学科基础、Python数据科学库实现 |
6 | 大数据工程应用 Hadoop与Spark项目实战 (课时:24课时) | 介绍Hadoop组件、功能、安装部署,常用的统计分析应用; 介绍Spark组件、功能、安装部署,常用的数据挖掘应用; 介绍数据科学从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等技术 数据分析综合项目实战 |
7 | 数据科学全栈(金融方向) 推荐系统开发(产品方向) (课时:32课时) | 介绍数据科学在金融方向的应用,包括股票预测、资产评估、风险评估等; 介绍推荐系统应用开发,包含统计科学、机器学习、神经网络多种模型构建等 |
4.6课程目录与模块
模块1:(云计算及应用架构实战)
模块2:(大数据基础及云数据分析实战)
模块3:(数据思维及数据分析实战)
模块4:(大数据分析综合实战)
模块5:(数据科学金融分析及推荐产品开发)
模块 | 内容&任务 | 项目&训练 |
模块1: (云计算及应用架构实战) | 12课时 | 讲解: 云计算基础与入门 云计算关键技术 云计算技能应用与岗位分析 任务: Linux基础训练 MySQL基础训练 虚拟机安装部署 |
Ubuntu开机配置 CentOS开机配置 Linux服务配置 Win版MySQL套件安装 Navicat进行MySQL操作 MySQL基础命令 Linux版MySQL部署 Python与MySql交互 NoSql基础(MongoDB/Redis) |
12课时 | 讲解: 云计算商业案例分析 云计算基础服务 云计算架构设计 任务: 云计算服务使用(EC2/RDS/S3..) 云计算架构设计实战 云计算部署主流应用及框架
Linux图形桌面 WordPress Moodle站点 Nginx/LNMP 静态网站 Node.js站点 Python站点 Github+Hexo/Sphinx站点 Shadowsocks科学上网
| (主要什么服务、计算、网络、存储;架构设计;业务流、业务区域;) (主要什么服务;计算、网络、存储;架构设计;业务加速;业务区域;) (高并发带来的问题;数据库压力;) (表设计、事务所、数据统计接口) (分层、分割、分布式) (缓存、异步、CDN、DB、Nginx动静分离)(压力测试) (架构升级;S3存储能力;业务性能;) |
时 间 | 内容&任务 | 项目&训练 |
模块2: (大数据基础及公有云分析实战) | 12课时 | 讲解: 大数据基础与入门 Hadoop关键技术 Spark关键技术 大数据技能应用与岗位分析 任务: 大数据环境部署(win版) 大数据环境部署(ubuntu版) Hadoop编程实战(HFDS/MapReduce) |
Hadoop环境配置(单机/伪分布式) Spark环境配置(standalone) Hadoop编译打包 Spark编译打包 Spark流计算 SparkSQL 统计分析实战
|
12课时 | 讲解: 公有云数据分析服务 公有云大数据架构实践 任务: AWS EMR操作 AWS Redshift操作 AWS Kinesis操作 |
Amazon EMR进行交互式数据查询 使用Apache Kylin和Amazon EMR进行云上大数据OLAP分析 Amazon QuickSight大数据商务分析服务 Amazon Redshift构建新一代数据分析BI系统 Apache Mahout在 Amazon Elastic Mapreduce上构建推荐系统 AWS Kinesis的Javascript交互方法 AWS日志流分析 利用 AWS Comprehend 打造近实时文本情感分析 |
时 间 | 内容&任务 | 项目&训练 |
模块3: (数据思维及数据分析实战) | 4课时 | 讲解: 数据思维入门 常见行业的数据分析方法论 任务: 数据运营活动与应用指标 数据思维训练 分析报告模板 |
商场选址布局分析 竞争对手、竞品分析 BAT业务模式及如何攻防 拼多多如何发家 抖音vs快手 手机里只留3个APP 招聘网站的SEM广告分析 电商双11销量影响因素 电商双11购物营销分析 品牌营销洗脑术 酒店会员出现低价订单 社交网络上的戏精 男女恋爱脱单办法 |
24课时 | 讲解: Python基础及入门 Python爬虫 Python数据清洗 Python数据处理 Python数据可视化 数据分析项目训练 任务: 数据ETL 数据分析方法 描述性分析 统计假设 统计模型分析 机器学习模型分析 |
大学生恋爱探索(Python Notebook) 星巴克商业选址分析(Python Notebook) 中文词云(Python Notebook) 英文词云(Python Notebook) 网络小说文本分析-3生3世(Python Notebook) 情感分析-大众点评(Python Notebook) 情绪分析-剧本(Python Notebook+R Notebook) pandas-学校一卡通数据分析(Python Notebook) pandas-泰坦尼克号数据处理(Python Notebook) 爬虫-豆瓣读书Top250(Python Notebook) 爬虫-京东图书(Python Pycharm+Scrapy) 爬虫-招聘网站拉勾数据爬取(Python Notebook+Selenium) 爬虫-P2P网贷之家(Python Notebook+SQL Navitica) 狄仁杰电影分析-综合(Python Notebook) 微信好友分析(Python Notebook) 科技股票可视化(Python Notebook) 旅游景点分析(Python Notebook) kaggle-员工离职预测(Rstudio) kaggle-Titanic(Python Notebook) kaggle-共享单车(Python Notebook) |
时 间 | 内容&任务 | 项目&训练 |
模块模4: (大数据分析综合实战) | 12课时 | 讲解: 云主机中搭建大数据项目环境 机器学习预测(Spark平台电商双11数据分析与预测) 任务: Hadoop/Spark项目实战 (本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、 Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法) |
从网页的控制台登录云服务器中的Ubuntu系统 为Ubuntu系统添加新的普通用户 使用xShell软件实现SSH登录到Ubuntu系统 使用VNC远程连接云实例中的Ubuntu系统 使用xFTP软件向云实例中的Ubuntu系统上传和下载文件 在云实例的Ubuntu系统中安装Java 在云实例的Ubuntu系统中安装Hadoop 在云实例的Ubuntu系统中安装Scala 在云实例的Ubuntu系统中安装Spark 在云实例的Ubuntu系统中安装编译打包工具sbt 在云实例的Ubuntu系统中安装编译打包工具Maven 在云实例的Ubuntu系统中安装IntelliJ IDEA和Scala插件 在云实例的Ubuntu系统中安装Scala IDE for Eclipse 在云实例的Ubuntu系统中安装HBase 在云实例的Ubuntu系统中安装MySQL5.7 为云实例中的Ubuntu14.04安装中文语言支持 |
12课时 | 讲解: Python数据科学项目(数据科学的数据分析、挖掘、可视化的工具与方法) 任务: 新浪财经评论分析与挖掘项目实战 (本案例涉及爬虫、数据分析与挖掘、可视化等用 Python 的全套实现全流程所涉及的各种典型操作,涵盖从爬虫、数据提取与准备pandas/numpy、数据异常发现与清洗、分析与可视化plot/pyecharts等数据科学工具和使用方法)
|
大学生恋爱探索(Python Notebook) 星巴克商业选址分析(Python Notebook) 新浪财经评论数据爬取 完成数据提取,同时调用(再写个爬虫)某 IP 查询网站由评论里的 IP 查询到更多信息 对数据异常与清洗的处理 pyecharts 可视化评论数变化曲线及组合图overlap 可视化变化评论情况 省份、城市数据提取与可视化 |
时 间 | 内容&任务 | 项目&训练 |
模块5: (数据科学金融分析及推荐产品开发) | 18课时 | 讲解: Python金融分析基础 Python常用算法 Python下载金融数据 Python预测股票收益与风险 Python多股票投资组合 Python投资组合分析 Python期权估值
任务: 金融股票风险与回报 金融量化交易系列 金融估值、风险预测 机器学习金融模型分析 |
下载金融数据 分析财务决策 分析房屋抵押贷款 个人理财规划分析 标普100案例分析 加密货币数据探索 用夏普比率分析股票的风险和回报 算法交易 (1)基础入门 算法交易 (2)常见的金融分析方法 算法交易 (3)用Python构建交易策略 算法交易 (4)回测交易策略 |
18课时 | 讲解: 推荐系统基本原理 推荐系统主要商业模式 推荐系统产品开发模型 用户推荐及内容推荐 协同过滤、矩阵分解及线性模型实现
任务: 基于Spark ALS推荐模型 基于Python ALS推荐模型 基于Apriori聚类的产品推荐模型 基于笛卡尔积的社交推荐模型 基于神经网络模型的推荐模型 |
Spark ALS推荐模型(购物清单) Python ALS推荐模型(电影) MR TD-IDF推荐模型(广告) MR 笛卡尔积推荐模型(社交网络) Python Apriori推荐模型(课程学习) Tensorflow推荐模型(电影集) Turicreate推荐模型(电影集) |
4.7职业认证考试(可选)
序号 | 职业资格证书 | 颁证单位 | 备注 |
1 | AWS Certified Solutions Architect- Associate (架构师助理) | AWS | 此考试可以检测您在 AWS 平台上设计和部署可扩展、高度可用且可容错的系统方面的技术专业知识。这适用于在 AWS 平台上设计分布式应用程序和系统方面拥有一年或一年以上实践经验的任何人 |
2 | Alibaba Cloud Certified Associate,ACA | 阿里云 | 阿里云大数据助理工程师认证(Alibaba Cloud Certified Associate,ACA) 是面向使用阿里云大数据产品的专业技术认证,主要涉及阿里云的大数据计算、存储、开发平台,数据应用类的基础产品。是对学员掌握阿里云大数据产品技术技能水平的全面检验和能力认证。。 |
3 | Alibaba Cloud Certified Professional,ACP | 阿里云 | 阿里云大数据专业认证(Alibaba Cloud Certified Professional,ACP)是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证。 |
4 | CDA Level I (业务分析师) | 美国注册数据分析师协会 | 专指政府、金融、电信、零售等行业前端业务人员;从事市场、管理、财务、供应、咨询等职位业务人员;非统计、计算机专业背景零基础入行和转行就业人员。 |
5 | CDA Level II (建模分析师) | 美国注册数据分析师协会 | 专指政府、金融、电信、零售、互联网、电商、医学等行业专门从事数据分析与数据挖掘的人员 |
6 | CDA Level II (大数据分析师) | 美国注册数据分析师协会 | 专指政府、金融、电信、零售、互联网、电商、医学等行业专门从事数据分析与云端大数据的人员 |