自学内容网 自学内容网
自学内容网 > 正文

NLP专业术语及工具【hanlp、jiolp】

🕗 发布于 2024-07-25 11:38 JioNLP  HanLP  NLP  分词  文本摘要  

NLP专业术语

缩写术语中文描述
tokTokenization分词将文本切分成独立的语义单位，通常是单词或标点符号等。
posPart-of-Speech Tagging词性标注每个单词标注语法类别，例如名词、动词、形容词等。
nerNamed Entiy Recognition命名实体识别识别文本中的专有名词，如人名、地名、机构名等。
depDependency Parsing依存句法分析分析单词之间的语法依赖关系，确定它们在句子中的功能和关系。
conConsituency Parsing成分句法分析分析句子在语法上的递归构成，通常表示为树形结构。
srlSemantic Role Labeling语义角色标注分析句子的谓词论元结构，即识别谓词和其对应的论元（如施事者、受事者等）。
sdpSemantic Dependency Parsing语义依存分析分析句子中单词之间的语义关系，通常表示为有向无环图。
amrAbstract Meaning Representation抽象意义表示将句子的意义表示为以概念为节点的单源有向无环图，用于跨语言的语义表示。
lemLemmatization词形还原将单词转换为其基本形式或词根形式的过程。
例如，将动词的过去式、现在分词和过去分词等形式还原为基本动词形式。这有助于减少单词的不同形式带来的复杂性，使得文本处理更加一致和高效。
feaFeature特征通常指单词或短语的属性或属性集合
- 形态学特征：如词性（名词、动词、形容词等）、时态（过去时、现在时、将来时）、格（主格、宾格等）、数（单数、复数）等。
- 语义特征：如词义、词义关系（同义、反义、上下义等）。
- 句法特征：如依存关系、句法角色（主语、宾语、定语等）。
- 文本特征：如词频、TF-IDF（词频-逆文档频率）等，这些特征常用于文本分类、文本聚类等任务。
stsSemantic Textual Similarity语义文本相似性从语义上比较2段文本的相似性
word2vecWord2Vec是一系列模型架构和优化，可用于从大型未标记数据集中学习词嵌入。在本文中，它被狭义地定义为将离散词映射到密集向量的分布式表示的组件。
word2vec.most_similar(‘上海’) – 广州、北京、上海
word2vec.most_similar(‘非常寒冷’, doc2vec=True)–阴冷
gloveGlobal Vectors for Word Representation一种用于生成词嵌入（word embeddings）的无监督学习算法。GloVe模型由斯坦福大学和Google的研究人员在2014年提出。它旨在捕捉单词之间的语义关系，并将这些关系表示为向量空间中的点。
FastText由Facebook AI Research团队在2016年提出的一个词嵌入算法，它旨在提高文本分类和词向量学习的速度和效率

hanlp

hanlp 2.x功能

功能RESTful多任务单任务模型标注标准
分词教程教程教程tok粗分、细分
词性标注教程教程教程posCTB、PKU、863
命名实体识别教程教程教程nerPKU、MSRA、OntoNotes
依存句法分析教程教程教程depSD、UD、PMT
成分句法分析教程教程教程conChinese Tree Bank
语义依存分析教程教程教程sdpCSDP
语义角色标注教程教程教程srlChinese Proposition Bank
抽象意义表示教程暂无教程amrCAMR
指代消解教程暂无暂无暂无OntoNotes
语义文本相似度教程暂无教程sts暂无
文本风格转换教程暂无暂无暂无暂无
关键词短语提取教程暂无暂无暂无暂无
抽取式自动摘要教程暂无暂无暂无暂无
生成式自动摘要教程暂无暂无暂无暂无
文本语法纠错教程暂无暂无暂无暂无
文本分类教程暂无暂无暂无暂无
情感分析教程暂无暂无暂无[-1,+1]
语种检测教程暂无教程暂无ISO 639-1编码

hanlp 1.x功能

JioNLP

JioNLP 是一个面向 NLP 开发者的工具包，提供 NLP 任务预处理、解析功能，准确、高效、零使用门槛。

功能函数描述星级
查找帮助help若不知道 JioNLP 有哪些功能，可根据命令行提示键入若干关键词做搜索
车牌号解析parse_motor_vehicle_licence_plate给定一个车牌号，对其进行解析⭐
时间语义解析parse_time给定时间文本，解析其时间语义（时间戳、时长）等⭐
关键短语抽取extract_keyphrase给定一篇文本，抽取其对应关键短语⭐
抽取式文本摘要extract_summary给定一篇文本，抽取其对应文摘
停用词过滤remove_stopwords给定一个文本被分词后的词 list，去除其中的停用词⭐
分句split_sentence对文本按标点分句⭐
地址解析parse_location给定一个包含国内地址字符串，识别其中的省、市、县区、乡镇街道、村社等信息⭐
电话号码归属地、
运营商解析		phone_location
cell_phone_location
landline_phone_location		给定一个电话号码（手机号、座机号）字符串，识别其中的省、市、运营商
新闻地名识别recognize_location给定新闻文本，识别其中的国内省、市、县，国外国家、城市等信息⭐
公历农历日期互转lunar2solar
solar2lunar		给定某公（农）历日期，将其转换为农（公）历
身份证号解析parse_id_card给定一个身份证号，识别对应的省、市、县、出生年月、
性别、校验码等信息		⭐
成语接龙idiom_solitaire成语接龙，即前一成语的尾字和后一成语的首字（读音）相同
色情数据过滤--
反动数据过滤--
繁体转简体tra2sim繁体转简体，支持逐字转与最大匹配两种模式
简体转繁体sim2tra简体转繁体，支持逐字转与最大匹配两种模式
汉字转拼音pinyin找出中文文本对应的汉语拼音，并可返回声母、韵母、声调⭐
汉字转偏旁与字形char_radical找出中文文本对应的汉字字形结构信息，
包括偏旁部首(“河”氵)、字形结构(“河”左右结构)、
四角编码(“河”31120)、汉字拆解(“河”水可)、
五笔编码(“河”ISKG)		⭐
金额数字转汉字money_num2char给定一条数字金额，返回其汉字大写结果
新词发现new_word_discovery给定一语料文本文件，统计其中高可能成词

参考

hanlp预训练模型


原文地址：https://blog.csdn.net/penriver/article/details/140571561

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • 配置cobbler服务提供centos7安装源

    由RedHat公司基于python语言开发，作用：快速批量部署Linux系统。

    阅读更多2024-09-17
  • 【MySQL学习】基础指令全解：构建你的数据库技能

    本文详细介绍了SQL操作指令的各种基础和高级操作，帮助读者掌握SQL数据库技巧。

    阅读更多2024-09-17
  • OpenGL笔记二十一之几何类设计

    — 2024-09-16 下午。

    阅读更多2024-09-17
  • UiBot教程：实现复杂流程图的高效方法

    我们需要在两个流程块之间传递“字符串格式的系统时间”，所以最简单的方法就是在流程图中定义一个变量。举个例子，我们可以创建一个名为x的流程图变量，这样在流程图所包含的所有流程块中都可以直接使用这个变量。

    阅读更多2024-09-17
  • 12 数组——27. 移除元素 ★

    给你一个数组nums和一个值val，你需要原地移除所有数值等于val的元素，并返回移除后数组的新长度。

    阅读更多2024-09-17
  • 工资重回“3000块”时代

    3000元是一个心理价位，但实际上对于许多家庭来说，可能在县城生活，除了基本的生活开销，很难剩下更多的钱。也就是说，如果你的工作收入在这个“五千块定律”所设定的范围内，并且在三年内没有超过平均水平的涨

    阅读更多2024-09-17
  • 谷歌向安卓用户推出Gemini Live聊天机器人

    即使你的手机处于锁定状态，屏幕处于关闭状态，你也可以开始与助手交谈，而且还可以通过谷歌(Google)的新款Pixel Buds Pro 2无线耳机进行访问，这样你就可以在手机放在包里的时候免提通话。

    阅读更多2024-09-17
  • Linux进阶命令-sed&split

    sed（Stream Editor）是一个流编辑器，用于在文本流中进行文本替换和转换操作。它通常用于命令行环境下，可以接受标准输入（stdin）、文件内容或管道输入，并对文本进行修改或处理。

    阅读更多2024-09-17
  • RTMP直播播放器的几种选择

    在选择RTMP直播播放器时，需要根据具体的应用场景、平台兼容性、功能需求以及用户体验等因素进行综合考虑。同时，也可以参考其他用户的评价和专业评测来选择最适合的播放器。

    阅读更多2024-09-17
  • Linux套接字

    套接字是实现网络通信的核心组件，它提供了灵活且强大的接口，使得开发者能够轻松地在网络环境中构建复杂的应用程序。无论是TCP还是UDP协议，都可以通过适当的套接字类型来满足不同的通信需求.

    阅读更多2024-09-17
自学内容网
Copyright © 2015-2024