当前位置: 首页 > news >正文

002_文本分类任务的问答

1、下面代码中,random_state作为随机种子作用是什么?

train_x, valid_x, train_y, valid_y = model_selection.train_test_split(trainDF['text'], trainDF['label'], test_size=0.25, random_state=42)

这段代码的作用是随机把数据分为两个部分
计算机的“随机数”其实是 伪随机数,它们是由一个公式算出来的。第一次“随机”时,程序会用一个 起始值(种子 seed)之后根据一个确定的数学公式生成下一次“随机”的结果。如果种子相同,公式和初始值都一样,那么每次运行得到的随机数序列就一样。

此外test_size是表示验证集占整个数据的比例,而不是训练集,因为验证集相对于训练集来说比较小

2、解释代码

    encoder = preprocessing.LabelEncoder()train_y = encoder.fit_transform(train_y)valid_y = encoder.transform(valid_y)

第一行代码,encoder的作用是把分类标签(字符串或其他形式)映射成整数
第二行代码分为fit和transform两个过程,fit过程找出所有的label,并放入集合set,然后映射成词典,transform过程把label映射为数字,并对原label做替换
第三行代码只用transform,不再fit,是因为验证集要用和训练集相同的标签映射关系

3、说说TF-IDF,并解释代码

    tfidf_vect = TfidfVectorizer(analyzer='word', token_pattern=r'\w{1,}', max_features=5000)tfidf_vect.fit(trainDF['text'])xtrain_tfidf = tfidf_vect.transform(train_x)xvalid_tfidf = tfidf_vect.transform(valid_x)

TF-IDF: Term Frequency – Inverse Document Frequency (词频–逆文档频率)
主要作用是衡量一个词在一篇文档里有多重要

fit作用:这里传入的参数是文本(字符串)的列表,fit的作用是统计每个词出现在哪些文档,计算IDF值,并建立词表,决定哪些词被保留
transform:用fit建立的词表,把训练集文本转成TF-IDF特征矩阵

4、模型训练

# 3.训练朴素贝叶斯分类器
def train_model(classifier, feature_vector_train, label_train, feature_vector_valid, label_valid, is_neural_net=False):# 3.1. 训练模型classifier.fit(feature_vector_train, label_train)# 3.2. 预测验证集predictions = classifier.predict(feature_vector_valid)# 3.3. 如果是神经网络,取预测概率最大的类别if is_neural_net:predictions = predictions.argmax(axis=-1)   # argmax 返回最大值所在的索引# axis=-1 表示 沿最后一维 取最大值索引,也就是对每一行(每条样本)找到概率最大的类别索引# 3.4. 返回准确率return metrics.accuracy_score(label_valid, predictions)

训练模型说法太笼统了,有没有更详细的说法?
      训练模型就是执行所传入的深度学习算法,让模型从训练数据里学到规律,使它能预测未知数据的标签

http://www.rkmt.cn/news/6850.html

相关文章:

  • 文件包含漏洞
  • 谁在我这位置遗留或丢失了一颗口罩爆珠(好像是桃子味)?
  • 负载均衡层详解part3-lvs
  • 4. MySQL 索引优化实战
  • python小计划——学生管理系统
  • 经典SQL语句大全
  • IvorySQL 与 deepin 完成兼容性认证,共创开源生态新篇章
  • 在 Nginx 上搭建静态站点
  • DIFY 项目中通过 Makefile 调用 Dockerfile 并采用 sudo make build-web 命令构建 web 镜像的方法和注意事项
  • Qt函数方法传入参数未使用-警告warning错误error提示解决
  • mysql 性能监控,关键指标解析与优化案例剖析
  • 百家大型企业共同选择:2025年人力资源管理系统权威推荐榜单
  • Rhinoceros 8.23.25251.13001 犀牛3D建模
  • 三台ubuntu22相互免密登录最快
  • 《深入理解计算机系统》计算机系统漫游(一) - Invinc
  • 2021年安徽省大数据与人工智能应用竞赛 大数据(网络赛)-高职组赛题
  • 一些写了和没写的数学!
  • Alexandresku设计的loki小对象内存分配器
  • java预习
  • B/S体系结构风格
  • Feign动态URL配置
  • 自动化部署工具 Jenkins 的安装与配置
  • Ceres 常用 LossFunction 对比
  • git使用
  • 测试开发全日制学徒班火热报名中|跟着名企大咖做真实项目,结业即上岗
  • AI 自动化智能体训练营
  • 微信商户绑定微信公众号、小程序
  • iphone运行windows系统
  • 图片结构 - voasem
  • 实用指南:25年高联:一试填空题解析(下篇)