[自然语言处理]概述

1 概念

• 自然语言处理(natural processing laguage)是计算机科学与语言学中关注于计算机与人类语言间转换的领域。
• 简史：
  • 1950年，计算机科学之父图灵在论文中提出“机器可以思考吗”；这一划时代的问题，从此促成了人类语言学与计算机科学的交融
  • 1957-1970年，自然语言处理开始形成“两大阵营”，基于规则和基于统计
  • 1994-1999年，基于统计的方法逐渐取得胜利，概率计算开始引入到NLP领域的每个任务中
  • 2000-2008年，机器学习开始兴起，迅速占领了NLP的主流市场
  • 2015-2023年，人工智能时代到来，深度学习技术将深刻改变NLP的未来
  • 2023年至今，大模型AIGC时代
• 应用场景：语音助手、机器翻译、搜索引擎、智能问答

2 文本处理的基本方法

• 将文本语料处理成符合模型输入的要求
• 文本处理的基本方法：分词、词性标注、命名实体识别
• 文本张量表示方法
  • one-hot编码：get_dummies
• jieba的特性
  • 支持多种分词模式（粗粒度&细粒度）
    • 精确模式
    • 全模型
    • 搜索引擎模式
  • 支持中文繁体分词
  • 支持用户自动以词典

import jieba


# 精确模式:按照人类日常用语表达习惯来分词
def dm01_test():
    content = '分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。'
    result1 = jieba.cut(content, cut_all=False)
    # print(result1)
    # for value in result1:
    #     print(value)
    # print(list(result1))
    # 返回生成器，默认cut_all=False
    result2 = jieba.lcut(content, cut_all=False)
    print(result2)


# 全模式：只要能成词的都进行切分，容易造成歧义
def dm02_test():
    content = '分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。'
    result1 = jieba.cut(content, cut_all=True)
    # print(result1)
    # for value in result1:
    #     print(value)
    # print(list(result1))

    result2 = jieba.lcut(content, cut_all=True)
    print(result2)


# 搜索引擎模式：在精确模式基础上，对长词进行再次切分
def dm03_test():
    content = '分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。'
    result = jieba.lcut_for_search(content)
    print(result)


# 支持繁体
def dm04_test():
    content = '煩惱即是菩提，我暫且不提'
    result = jieba.lcut(content)
    print(result)

# 支持用户自定义词典：如果用户使用自定义词典，jieba会优先按照词典进行分词
def dm05_test():
    # 不采用词典进行分词
    sentence='jieba分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。'
    result1=jieba.lcut(sentence)
    print(result1)
    # 采用自定义词典
    jieba.load_userdict('./user_dict.txt')
    result2 = jieba.lcut(sentence)
    print(result2)


if __name__ == '__main__':
    dm01_test()
    dm02_test()
    dm03_test()
    dm04_test()
    dm05_test()

['分词', '就是', '将', '连续', '的', '字', '序列', '按照', '一定', '的', '规范', '重新组合', '成词', '序列', '的', '过程', '。']
['分词', '就是', '将', '连续', '的', '字', '序列', '按照', '一定', '的', '规范', '重新', '重新组合', '组合', '组合成', '合成', '合成词', '词序', '序列', '的', '过程', '。']
['分词', '就是', '将', '连续', '的', '字', '序列', '按照', '一定', '的', '规范', '重新', '组合', '重新组合', '成词', '序列', '的', '过程', '。']
['煩惱', '即', '是', '菩提', '，', '我', '暫且', '不', '提']
['jieba', '分词', '就是', '将', '连续', '的', '字', '序列', '按照', '一定', '的', '规范', '重新组合', '成词', '序列', '的', '过程', '。']
['jieba分词', '就是', '将', '连续', '的', '字', '序列', '按照', '一定', '的', '规范', '重新组合', '成词', '序列', '的', '过程', '。']

2 

原文地址：https://blog.csdn.net/Letmooning/article/details/142735353

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！