数据分析行业大解析

• 概述

现如今智能科技的发展的越来越快，对于人才的要求也越来越高，数据分析师是结合技术与业务的复合型人才，无论什么行业，都迫切需要这样的人才。随着数据科学和机器学习技能需求的增长，数据的采集和分析可以被人工智能代替，但最后做出决策的还是企业的数据分析师。

据 IBM 预测，未来3年，公司对Data类岗位需求量将猛增28%。据麦肯锡公司的研究预测，2020年可以利用大数据分析来做出有效决策的人才缺口高达到150万，包括数据工程师、数据分析师、数据科学家、产品经理等具体岗位。

• 什么是数据科学？

数据科学是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。 它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。 数据科学通过运用各种相关的数据来帮助非专业人士理解问题。（维基百科定义）

简单来说，数据科学是一个综合型的、跨行业性的新型领域，数据科学揭示趋势并产生见解，企业可以利用数据科学完善产品和服务，将数据转化为竞争优势，产生巨大的商业价值。

作为一门专业，数据科学还很年轻。它源自于统计分析和数据挖掘领域。数据科学期刊 于 2002 年首次发行，由国际科学委员会：科学和技术数据委员会出版。2008 年，“数据科学家”的头衔出现了，数据科学领域迅速发展起来。从此以后，尽管越来越多的学院和大学开始设立数据科学学位，但数据科学家依然短缺。数据科学家的职责包括：制定数据分析策略；准备要分析的数据；探索、分析数据并实施数据可视化；使用 Python 和 R 等编程语言用数据构建模型；将模型部署到应用中等。

• 数据科学相关岗位及职能

1. 数据分析（业务/产品岗）

数据分析是数据行业中最常见的岗位，绝大多数人都是从这里开始自己的数据职业生涯的，主要岗位有：数据分析、商业分析、数据运营等。

主要职能：

1. 找到搭建数据指标体系衡量产品

2. 与管理团队合作，了解业务需求

3. 使用数据库查询语言

4. 数据清理与可视化报告

5. 建立和优化指标体系

6. 优化和驱动业务，推动数据化运营

7. 找出可增长的市场或产品优化空间

所需技能：

数理统计知识、Excel、SQL、A/B test、可视化分析软件、商业意识、多维分析能力

2. 数据工程（技术岗）

数据工程有着较高的数理统计和编程方面的要求，主要岗位有：人工智能分析师、数据工程师、算法工程师等

主要职能：

1. 数据架构的开发、构建和维护

2. 处理错误日志和构建数据管道

3. 数据清理

4. 数据建模、验证与迭代优化

5. ETL（提取转化加载）

所需技能：

数理统计知识、R、Python、Scala/Java、Hadoop/Spark/Hive、精通SQL/NoSQL、ETL

3. 数据科学（综合岗）

数据科学家兼顾数理统计、编程以及人工智能/机器学习建模等能力，具体岗位分为产品类，或者技术研究类。

主要职能：

1. 数据预处理与清理

2. 机器学习建模

3. 解决商业问题

4. 数据可视化展示

所需技能：

Excel、R、Python、R、常见数理统计算法以及模型

• 数据分析工具及学习路径（整理自一亩三分地）

1.数理统计 & ML

• Stats：Introduction to Probability and Data with R

• A/B testing: A/B Testing by Google, Medium文章, A/B 测试中20个必须知道的问题

• Time-Series：Forecast with R, Time Series Analysis and its Applications

• Bayesian: Bayesian for hackers(python), Graphical Model, Bayesian Reasoning and Machine Learning(book)

• Longitudinal：

• Machine Learning：Coursera Andrew Ng, ML,

• Deep Learning：DL, NLP

• Experimental Design/Causal Inference

2.分析软件

• Python：Real Python, Pandas, Python for DS and ML Bootcamp

• R：Datacamp

• Java：Udacity, CS61B

• Data Structure: python

• Algorithm: Udacity

• SQL：W3schools, SQL ZOO, Hackerrank, Leetcode

• Map Reduce：https://blog.udacity.com/2013/11/sebastian-thrun-launching-our-data.html

• Spark/Scala：Advanced Analytics with Spark, Big Data Analysis with Apache Spark, Coursera: functional programming in scala

3. Product Sense

• 大厂案例Product School

• Metrics

• A Collection of Data Science Takehome Challenges

4.Project

Projects/Competitions - Kaggle Kernels ：https://www.kaggle.com/

Problem Solving Challenges - HackerRank ：https://lnkd.in/g9Ps2cb