属于机器学习常见流程的是
属于机器学习常见流程的是数据获取、特征提取、模型训练和验证、线下测试、线上测试。
1、数据获取:首先从线上拉取用户真实数据,用现有模型过一遍这些数据得到一些有用的信息作为标注人员的一个参考,加快标注速度;标注完成后,数据入库并解决冲突,冲突即是同一个query,两次标注结果不一致,解决冲突的办法一般是人工check,得到一个更准确的标注;
2、特征抽取:NLP任务一般需要抽取数据的特征,如ngram、词典特征、词向量特征、上游模块的输出等。一般离线和在线均需要特征抽取,所以离在线的这部分代码是共用的,避免在线特征抽取和离线不一致。抽取特征时有个小技巧是把能想到的特征均抽取出来,并保存成文本文件,避免重复的执行特征抽取的步骤,在实验的时候用mask的方式去屏蔽掉那些对模型没用的特征,因为针对神经网络这样的模型,值为0的特征一般不影响最终结果(如tanh/ReLU等,但sigmoid激活层可能会影响)。这样抽取出来的特征的格式一般还不能满足机器学习框架的要求,通过脚本转化成机器学习框架要求的格式即可。
3、模型训练和验证:常用的模型训练和验证步骤是:首先以一个简易的算法开始,快速的进行实现,并在交叉验证集上进行验证;然后画出它的学习曲线,通过学习曲线确定是否更多的数据或者更多的特征会对模型的优化有帮助。接着人为地检测交叉验证集中被错误的进行分类的或者预测的样本的共同特征,从实际入手对模型进行调整,不断调整并验证在交叉验证集上的误差,寻找最优的结果,优化模型。
4、线下测试:指在模型验证有提升后,在测试集上测试模型的性能指标。线下测试可以将模型集成在应用程序里测试,也可以单独测试模型。线下测试的指标一般跟具体的业务需求相关,包括:准确率(accuracy)、精确率(precesion)、召回率(recall)、F1值等。
5、线上测试:是模型上线后的测试,是跟业务紧密相关的一个指标。在实际工作中,一般先将版本上线至一个复制小流量环境,打到这个环境的流量同时也打到线上环境,然后同时取出线上环境的结果和复制小流量环境的结果,抽出两者的diff,人工做gsb(good bad same),即针对有diff的case,人工标注小流量好(good),还是线上好(bad),或者两者打平(same),如果good多于bad,说明gsb通过,可以上线供用户体验。这种方法与A/B testing类似。模型上到线上后,可以通过用户行为反馈模型的好坏,如用户点击、pv等。
-
雅诗兰黛眼部精华露和眼霜先用哪个
先使用雅诗兰黛眼部精华露,滋润眼周肌肤,淡化眼周黑眼圈等问题。而后使用雅诗兰黛眼霜涂抹眼周,缓解淡化眼周细纹,两者搭配使用,效果更显著。雅诗兰黛眼部精华露怎么用1.第一步:洁面爽肤后,取适量大小的眼精华,点涂于眼周。一般取3点米粒大小的眼睛精华即可,分别点涂在...
-
银壶开壶的正确步骤
一般来说开银壶都是使用清水,但是更推荐纯净水,因为自来水的会有水垢残留,非常不好清理。开壶不能用明火,最好准备一个专用的电陶炉。每天煮5次,烧开后3分钟,把水迅速倒掉,把壶放在桌子茶桌上,打开壶盖,用壶的余温把残水蒸干,然后用绒布擦拭一下。每天重复,坚持煮一星期,壶...
-
天天敷面膜的坏处
过于频繁地敷面膜,会使角质层过度浸润导致湿疹过敏,有可能引发接触性皮炎。过敏测试。试敏每个人的肤质不同,所以在用新面膜之前一定要先做过敏测试。取面膜中少量精华液抹在耳后,20-30分钟左右看看有没有出现红痒反应。彻底清洁面部。在敷面膜之前一定要彻底清洁...
-
hm是什么牌子的衣服
来自瑞典的服装品牌,HM是Hennes&MauritzAB的简称,于1947年由尔林·派尔森(ErlingPersson)在瑞典Vsters市创立,主要经营销售服装和化妆品。该品牌专注于服装产业的休闲服饰,在该领域做深、做细、做精。1947年由尔林·派尔森(ErlingPersson)在瑞典Vsters市创立。当时...