深度学习-19-深入理解并训练自己的Tokenizer分词器
1 tokenization是什么
任何一段文本，输入给模型，都是要转换成一串embedding。
这个过程简单概括为：
(1)分词，并把词转换为token（即词的ID）
(2)token转换成embedding
而tokenization就是在做这第一步。
而对于第二步就是常见的Embedding查表操作，即根据token_id的值，去Embedding矩阵中查找第token_id行的数据作为embedding。
对于以下文本：你好，我的小名是小明
2 Tokenization方法简介
子词Tokenization(可以理解为分词)在很多SOTA NLP模型上得到广泛的使用，包括BERT和GPT-3。
它能很有效的处理未登陆词。
2.1 单词级的Tokenization
假设我们有一个训练数据集。
我们从这个训练数据集中构建一个词表。
为了构建该词表，我们将数据集中的
原文地址：https://blog.csdn.net/qq_20466211/article/details/142633613
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！