【会话文本nlp】对话文本解析库pyconverse使用教程&版本报错、模型下载等问题解决&超参数调试

前言：
此篇博客用于记录调用pyconverse库解析对话文本时遇到的问题与解决思路，以供大家参考。

pycoverse介绍

对话分析在塑造金融/联络中心等各个行业的卓越客户体验方面发挥着越来越重要的作用，主要是为了更深入地了解客户，更好地满足他们的需求。这个名为PyConverse的库试图提供工具和方法，可以使用各种NLP技术从多个角度理解对话。

在哪里可以使用pycoverse?

主要用例面向呼叫中心呼叫分析，但Converse提供的大多数工具也可以在其他地方使用。
每一次通话中都隐藏着许多见解，Converse使您能够提取这些见解，并从运营效率、代理效率和监控客户体验等角度计算各种关键绩效指标。
如果你想回答这样的问题：
1.发言者在对话中表现出的总体情绪是什么？
2.代理商和客户之间是否有过死气沉沉的时期（沉默期）？如果是，多少钱？
3.客服对客户有同理心吗？
4.平均代理响应时间/平均保持时间是多少？
5.通话中说了什么？

pycoverse可以做什么?

 1. 情绪识别
 2. 移情陈述识别
 3. 对通话文本分段
 4. 从通话片段中识别话题
 5. 计算各种类型的发言人属性：
1. 语言属性，如：字数/每句话的字数/否定词等。
2. 识别沉默和打断的时段
3. 问题识别（识别疑问句）
4. 识别无意义的语气词、助词等
 6. 通过语言属性评估说话者的整体性质，并判断说话者是否：
1.健谈，口语流利
2.非正式/个人/社交
3.目标导向或前瞻/着眼未来/关注过去
4.识别抑制因素
 7.文本摘要（抽象摘要）

代码github链接

converse代码库

【converse代码云盘下载链接】
下载链接: https://caiyun.139.com/m/i?2i3pdpZud0agc 提取码:okvg 复制内容打开中国移动云盘手机APP，操作更方便哦

问题解决

1 cannot import name ‘cached_download‘ from ‘huggingface_hub‘ 问题解决

如下，安装huggingface_hub==0.25.2即可解决

pip install huggingface_hub==0.25.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

2 ModuleNotFoundError: No module named ‘huggingface_hub.snapshot_download‘

报这个错需要升级setence-transformers版本，setence-transformers=2.6不会报错。
但由于pyconverse中需要setence-transformers=2.1，因此我的解决方法是：

在源码site-packages/sentence-transformers/utils.py中，注释掉：
from huggingface_hub.snapshot_download import REPO_ID_SEPARATOR

（不使用远程下载模型，而是自己去官网的镜像地址下载模型，参考4）

3 Python 解决报错：OSError: [E050] Can‘t find model ‘en_core_web_md‘. It doesn‘t seem to b

报这个错是因为没有安装en_core_web_sm，直接安装en_core_web_sm包即可，由于pyconverse要求Spacy=2.3.5，需要对应en_core_web_sm版本为2.3.0，这里直接给出下载地址：

【en_core_web_sm 2.3.0.tar.gz云盘下载链接】
链接: https://caiyun.139.com/m/i?2i3pdmZfU3Mou 提取码:koss 复制内容打开中国移动云盘手机APP，操作更方便哦
【en_core_web_sm 3.3.0.tar.gz云盘下载链接】
链接: https://caiyun.139.com/m/i?2i3pdJ0QDDfbh 提取码:fgr3 复制内容打开中国移动云盘手机APP，操作更方便哦

下载后，直接pip install en_core_web_sm 2.3.0.tar.gz即可！

4 模型下载失败问题

解决报错“OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file”
我的解决方法是：

4.1 先到官网下载模型

https://hf-mirror.com/

• all-MiniLM-L6-v2下载：
  
• valhalla/distilbart-mnli-12-6下载：

4.2 替换成模型下载后位置

在源码site-packages/pyconverse/utils.py中，将模型位置替换成自己下载后的模型位置，如：
/mnt/d/model_repository/all-MiniLM-L6-v2
/mnt/d/model_repository/valhalla/distilbart-mnli-12-6

注：我是将下载后的模型路径直接写死（虽然不太优雅） ，不通过传参的形式，否则会报错
即 model = SentenceTransformer(model_name_or_path='/mnt/d/model_repository/all-MiniLM-L6-v2')

5 nltk 报错

• 原因是需要下载stopwords.zip，存放到具体位置：

\\wsl.localhost\Ubuntu-22.04\home\yhy\nltk_data\corpora\stopwords.zip

• 关于存放位置的查看：

打开交互式命令行，输入：
>>> import nltk
>>> nltk.download()

注意：
将下载器里的serverIndex 
https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml
改为: 
http://www.nltk.org/nltk_data/

如上，Download Directory中的位置即为我们的存放位置！

【stopwords.tip云盘下载链接】
链接: https://caiyun.139.com/m/i?2i3pd9YmUq98u 提取码:jn4g 复制内容打开中国移动云盘手机APP，操作更方便哦

运行结果截图展示

常见文本解析基本功能

• 找寻电话文本中被打断和沉默的片段
  

• 找寻电话文本中的语气词/助词
  

• 找出疑问句式
  

• 获取语句的情绪
  

• 获取/分析每个说话人的心理相关性
  

• 将电话内容分割成更大的文本块（通过语句语义相似性和文本挖掘算法）
  注：此处超参数为默认设置，即w=15，k=10（超参数设置在文章下一部分会提到）
  

文本分段参数调试

可以理解为一个聚类算法，聚类中心数量需要人为指定。此处文本分段需要调试的超参数为w和k【其中w为初始“伪句子块”的固定大小，k为块比较方法中使用的块的大小（以句子为单位）】：

如下，为m=100，k=90时，模型输出的文本分段结果：（可以发现分段数量明显减少，因为初始分块颗粒度增大了，可以理解为聚类中心数量减少了）

关于m和k的选择需要根据需求、实际情况和实验验证来决定！（我目前也在探索中）

心得

1. 调用别人写好开源的python包，受到各种版本制约，必要时可以调整源码；
2. 由于debug时可能无法进入到库函数源码，调试时可以在源库中添加print语句（现在有很多开源包，比如：专门用于文本分析、情感分析的包，版本也不一定稳定）

原文地址：https://blog.csdn.net/qq_42437577/article/details/143773048

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！