BERT-文本分类&NER
BERT文本分类
训练样本
训练数据:18W条
评估数据:1W条
测试数据:1W条
体验2D巅峰 倚天屠龙记十大创新概览8 60年铁树开花形状似玉米芯(组图)5 同步A股首秀:港股缩量回调2 中青宝sg现场抓拍 兔子舞热辣表演8 锌价难续去年辉煌0 2岁男童爬窗台不慎7楼坠下获救(图)5 布拉特:放球员一条生路吧 FIFA能消化俱乐部的攻击7 金科西府 名墅天成1 状元心经:考前一周重点是回顾和整理3 |
训练代码
https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → main.py
dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928 |
预测代码以及结果
https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → predict.py
模型预测结果: 文本:我们一起去打篮球吧!预测的类别为:game 文本:我喜欢踢足球!预测的类别为:game 文本:沈腾和马丽的新电影《独行月球》很好看预测的类别为:entertainment 文本:昨天玩游戏,完了一整天预测的类别为:game 文本:现在的高考都已经开始分科考试了。预测的类别为:education 文本:中方:佩洛西如赴台将致严重后果预测的类别为:politics 文本:现在的股票基金趋势很不好预测的类别为:finance 耗时为:2.3200602531433105 s |
评价指标
dev acc:0.9305 最佳模型Loss Train_Loss:0.1319 |
BERT命名实体识别
训练样本
训练数据:127919条
评估数据:14352条
测试数据:15576条
吴 B-NAME 重 I-NAME 阳 E-NAME , O 中 B-CONT 国 I-CONT 国 I-CONT 籍 E-CONT , O 大 B-EDU 学 I-EDU 本 I-EDU 科 E-EDU , O 教 B-TITLE 授 I-TITLE 级 I-TITLE 高 I-TITLE 工 E-TITLE , O 享 O 受 O 国 O 务 O 院 O 特 O 殊 O 津 O 贴 O , O 历 O 任 O 邮 B-ORG 电 I-ORG 部 I-ORG 侯 I-ORG 马 I-ORG 电 I-ORG 缆 I-ORG 厂 E-ORG 仪 B-TITLE 表 I-TITLE 试 I-TITLE 制 I-TITLE 组 I-TITLE 长 E-TITLE 、 O 光 B-TITLE 缆 I-TITLE 分 I-TITLE 厂 I-TITLE 副 I-TITLE 厂 I-TITLE 长 E-TITLE 、 O 研 B-TITLE 究 I-TITLE 所 I-TITLE 副 I-TITLE 所 I-TITLE 长 E-TITLE , O 获 O 得 O 过 O 山 O 西 O 省 O 科 O 技 O 先 O 进 O 工 O 作 O 者 O |
训练代码&评价指标
https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → main.py
dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928 运行时间:3.3876 min |
预测代码以及结果
https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → predict.py
模型预测结果: 文本:李某某,男,2012年4月出生,本科学历,工科学士,毕业于电子科技大学。 预测的类别为:['S-ORG', 'I-NAME', 'UNK', 'E-NAME', 'O', 'I-NAME', 'E-EDU', 'I-ORG', 'I-NAME', 'I-ORG', 'I-NAME', 'S-ORG', 'S-ORG', 'I-EDU', 'E-EDU', 'I-ORG', 'E-LOC', 'S-ORG', 'S-ORG', 'B-NAME', 'I-NAME', 'B-PRO', 'B-PRO', 'E-NAME', 'UNK', 'UNK', 'B-NAME', 'E-LOC', 'B-NAME', 'S-ORG'] 耗时为:6.1840057373046875 s |
原文地址:https://blog.csdn.net/m0_37156901/article/details/135843151
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!