自学内容网 自学内容网

BERT-文本分类&NER

BERT文本分类

训练样本

训练数据:18W条

评估数据:1W条

测试数据:1W条

体验2D巅峰 倚天屠龙记十大创新概览8
60年铁树开花形状似玉米芯(组图)5
同步A股首秀:港股缩量回调2
中青宝sg现场抓拍 兔子舞热辣表演8
锌价难续去年辉煌0
2岁男童爬窗台不慎7楼坠下获救(图)5
布拉特:放球员一条生路吧 FIFA能消化俱乐部的攻击7
金科西府 名墅天成1
状元心经:考前一周重点是回顾和整理3

训练代码

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  02-Bert 文本分类  →  main.py

dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964
test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  02-Bert 文本分类  →  predict.py

模型预测结果:
文本:我们一起去打篮球吧!预测的类别为:game
文本:我喜欢踢足球!预测的类别为:game
文本:沈腾和马丽的新电影《独行月球》很好看预测的类别为:entertainment
文本:昨天玩游戏,完了一整天预测的类别为:game
文本:现在的高考都已经开始分科考试了。预测的类别为:education
文本:中方:佩洛西如赴台将致严重后果预测的类别为:politics
文本:现在的股票基金趋势很不好预测的类别为:finance
耗时为:2.3200602531433105 s

评价指标

dev acc:0.9305
最佳模型Loss
Train_Loss:0.1319

BERT命名实体识别

训练样本

训练数据:127919条

评估数据:14352条

测试数据:15576条

吴 B-NAME
重 I-NAME
阳 E-NAME
, O
中 B-CONT
国 I-CONT
国 I-CONT
籍 E-CONT
, O
大 B-EDU
学 I-EDU
本 I-EDU
科 E-EDU
, O
教 B-TITLE
授 I-TITLE
级 I-TITLE
高 I-TITLE
工 E-TITLE
, O
享 O
受 O
国 O
务 O
院 O
特 O
殊 O
津 O
贴 O
, O
历 O
任 O
邮 B-ORG
电 I-ORG
部 I-ORG
侯 I-ORG
马 I-ORG
电 I-ORG
缆 I-ORG
厂 E-ORG
仪 B-TITLE
表 I-TITLE
试 I-TITLE
制 I-TITLE
组 I-TITLE
长 E-TITLE
、 O
光 B-TITLE
缆 I-TITLE
分 I-TITLE
厂 I-TITLE
副 I-TITLE
厂 I-TITLE
长 E-TITLE
、 O
研 B-TITLE
究 I-TITLE
所 I-TITLE
副 I-TITLE
所 I-TITLE
长 E-TITLE
, O
获 O
得 O
过 O
山 O
西 O
省 O
科 O
技 O
先 O
进 O
工 O
作 O
者 O

训练代码&评价指标

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   → 07-Bert 实体识别  →  main.py

dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964
test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928
运行时间:3.3876 min

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master   →  07-Bert 实体识别  →  predict.py

模型预测结果:
文本:李某某,男,2012年4月出生,本科学历,工科学士,毕业于电子科技大学。       
预测的类别为:['S-ORG', 'I-NAME', 'UNK', 'E-NAME', 'O', 'I-NAME', 'E-EDU', 'I-ORG', 'I-NAME', 'I-ORG', 'I-NAME', 'S-ORG', 'S-ORG', 'I-EDU', 'E-EDU', 'I-ORG', 'E-LOC', 'S-ORG', 'S-ORG', 'B-NAME', 'I-NAME', 'B-PRO', 'B-PRO', 'E-NAME', 'UNK', 'UNK', 'B-NAME', 'E-LOC', 'B-NAME', 'S-ORG']
耗时为:6.1840057373046875 s


原文地址:https://blog.csdn.net/m0_37156901/article/details/135843151

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!