人工智能领域的涉及的知识面太广了,学多了以后难免会迷失自己。最近看到一个德国的网站,列出了个AI专家路线图,非常详尽。有了地图在手,就能明确知道缺失的技能点,以及下一步的方向。
https://i.am.ai/roadmap/
简单翻译总结一下,对其中的几个观点特别认同:
1. 流行和趋势并不一定是最适合项目的
You should grow some understanding of why one tool would better suited for some cases than the other and remember hip and trendy never means best suited for the job.
2. 在进入深度学习领域之前,最好先熟悉大数据分析和传统机器学习
3. 基本知识
3.1 基础
矩阵与线性代数基础、数据库基础(关系和非关系数据库,SQL操作和noSQL),表格数据,数据格式的导出导入变形,正则表达式...
3.2 Python
基础语法(表达式,变量,数据结构,函数,安装包,编程风格);
Numpy科学计算库,Pandas表格处理库;
虚拟环境,Jupyter等等...
3.3 数据源
数据挖掘,网络爬取,公共数据集,Kaggle比赛
3.4 EDA数据分析
PCA成份分析,降维,归一化,数据清理,缺失值处理,无偏估计,特征值提取,降噪,采样...
原来,数据科学家和大数据工程师是两个方向。
4. 数据科学家路线
4.1 数据统计
概率论(随机,概率分布,条件概率和贝叶斯定理),连续分布函数,累积分布函数,摘要统计,估计分析,置信空间,蒙特卡罗方法。
4.2 可视化
图表建议(各种类型推荐),Python可视化库(Matplotlab,seaborn,ipyvolume),Web可视化(D3.js,Dash),BI商业智能(Tableau,PowelBI)
5. 机器学习领域
5.1 概述
概念,输入和属性,价值函数和梯度下降,过拟合和欠拟合,训练验证和测试集,测全率和测准率,偏差和方差,Lift数据分析
5.2 方法
监督学习(回归,分类),非监督学习(聚类,关联规则学习,降维),联合学习(Boosting,Bagging,Stacking),强化学习(Q-learning)
5.3 使用场景
情绪分析,协同过滤,标签,预测
5.4 工具库
sklearn,spcay
走完机器学习后,终于进入深度学习领域了。
6. 深度学习领域
6.1 相关论文
6.2 神经网络
神经网络概念,损失函数,激活函数,权重初始化,梯度消失与梯度爆炸
6.3 体系结构
前推神经网络,自编码,卷积神经网络,循环神经网络,Transformer(编码器,解码器,注意力模块),Siamese网络,对抗生成网络(GAN),残差网络
6.4 训练
优化器,学习率,Batch Normal,Batch Size,正则化,多任务训练,迁移学习,Curriculum 学习
6.5 工具
深度学习库,Tensorflow,PyTorch,Tensorboard,MLFlow
6.6 模型优化
模型蒸馏,模型量化,神经网络搜索
学完这条路线,数据科学家就养成了!
7. 数据工程师路线
数据格式汇总,数据发现,数据来源和采集,数据集成,数据融合,数据转换和填充,数据探索,OpenRefine,使用ETL,数据湖,Docker
8. 大数据工程师路线
8.1 大数据架构
8.2 原理
垂直和水平缩放,Map Reduce,数据增益,名称和数据节点,任务追踪
8.3 工具
检查大数据列表,Hadoop,Spark,Onnx,MLFlow,云服务...
后续一堆云部署相关的工具,超出我当下知识领域了... 总之,以上整体版图还是蛮清晰的,争取把缺失的碎片慢慢补全吧。
转载:https://blog.csdn.net/weixin_47479625/article/details/114529861