-
机器学习解决问题的框架:确定目标、业务需求、数据、特征工程
查看全部 -
机器学习算法分类
算法分类(1):有监督学习、无监督学习、半监督学习
算法分类(2):分类与回归、聚类、标注
(重要)算法分类(3):生成模型、判别模型
查看全部 -
交易型数据(跟钱有关系的操作数据)使用关系型数据库(MySQL SQLSEVER)
行为型数据使用NOSQL
查看全部 -
什么是机器学习:
利用计算机从历史数据中找出规律,并把这些规律用到对未来不确定场景的决策
查看全部 -
机器学习解决问题的框架:
二、训练模型
STEP1:定义模型(形成目标公式)
STEP2:定义损失函数(数学的方式定义预测值与现实值的差异)
STEP3:优化算法(寻找确定损失函数极小值)
三、模型评估(标准)
STEP1:交叉验证
STEP2:效果评估
训练模型
(1)定义模型:确定模型,训练出模型的参数
(2)定义损失函数(定义偏差的大小):评价真实结果与模型的预测结果的相似程度和差异度。 机器学习解决的问题,有时不能得到精确解只能寻找近似解。 偏差最小的函数,针对很大的数据集,就是损失函数。 让损失函数求最小,就是优化算法。对于线性回归模型,计算预测结果与实际结果的差值;对于分类模型,则需要定义自己的损失函数
(3)优化算法:对算法进行优化,使损失函数取极小值,如梯度下降法......
查看全部 -
机器学习借鉴问题的框架
查看全部 -
机器学习常见算法
查看全部 -
机器学习常见算法
查看全部 -
机器学习算法分类
查看全部 -
机器学习算法分类
查看全部 -
算法分类:
1、监督学习:分类算法、回归算法
2、无监督学习:聚类
3、半监督学习:主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。主要分为半监督分类,半监督回归,半监督聚类和半监督降维算法。
查看全部 -
机器学习算法分类
算法分类1:
有监督学习:提供了Y值(分类)的分类算法和提供了Y值(数字)的回归算法
无监督学习:无Y值,聚类算法
半监督学习:先给一部分Y值,以达到训练的越来越好的目的
算法分类2:
分类与回归
聚类
标注
算法分类3:(重要、直指算法的本质)
生成模型(告诉你属于每一类的概率)
判别模型(给你一个函数,你把数据丢给函数,他返回给你一个结果就告诉你是哪一类)
查看全部 -
二、解决业务问题不同
机器学习:预测未来事件(未来趋势)
数据分析:报告过去事件(历史总结)
三、技术手段、方法不同
机器学习:数据挖掘;数据(算法)驱动;规模大
数据分析:OLAP;用户驱动(企业数据分析师的经验等);规模小;交互式分析
缺点:受限于分析师的经验,分类的多样化受限制
四、参与(驱动)者不同
机器学习:数据+算法,数据质量决定结果
数据分析:数据分析师,能力&经验决定结果
五、服务用户不同
机器学习:个体用户
数据分析:公司高层
查看全部 -
机器学习和数据分析的区别:
一、数据特点不同(数据类别、数据量、数据分析方法)
机器学习:行为数据(如搜索历史、浏览历史、点击历史、评论等);海量分析,一致性要求相对不高;全量分析
数据分析:交易数据(与钱相关,如用户订单、存取款账单、话费账单等)少量数据,一致性要求严格(如银行存取款,数据精准);采样分析
数据的特点:
交易数据vs行为数据
少量数据vs海量数据
采样分析vs全量分析
交易数据要求数据一致性高(事务保证)。
NoSQL 适合存储行为数据(一致性差)
关系型的 适合存储交易数据(一致性高)查看全部 -
机器学习更多应用
查看全部
举报