大语言模型分词器

import transformers
import tokenizers

from transformers import AutoTokenizer

tokenizers = AutoTokenizer.from_pretrained("data/bert-base-uncased")

text = "This is a test sentence."

tokens = tokenizers.encode(text)
token_count = len(tokens)

print("Tokens:", tokens)
print("len of Tokens:", len(tokens))

pip install transformers tokenizers

• 上一篇：MyBatis 注解使用指南
• 下一篇：CMA软件测试技术体系建设思路与框架设计分享

相关文章

• jvm学习总结

  在硬盘上查找并通过io读写字节码文件，使用类时才加载，例如调用来的main方法，new对象等等，在加载阶段会在内存中生成一个代表这个类的java.lang.Class对象，作为方法区这个类的各种数据的

  阅读更多2025-01-22
• 【gopher的java学习笔记】Java中Mapper与Entity的关系详解

  在Java后端开发中，特别是在使用MyBatis等持久层框架时，Mapper与Entity的关系是架构设计中不可忽视的一部分。本文将从Java Web应用程序的角度出发，详细探讨Mapper与Enti

  阅读更多2025-01-22
• 【gopher的java学习笔记】Java中Service与Mapper的关系详解

  在后端开发中，Java作为一种广泛使用的编程语言，其架构设计和层次划分对于系统的可维护性、可扩展性和性能有着至关重要的影响。特别是在使用MyBatis等持久层框架时，Service层与Mapper层的

  阅读更多2025-01-22
• 基于单片机的直流电机控制系统（论文+源码）

  1系统方案设计本设计基于单片机的直流电机控制系统的总体架构设计如图2.1所示，其采用STM32F103单片机作为控制器，结合ESP8266WiFi通信模块、L9110电机驱动电路、OLED液晶、按键等

  阅读更多2025-01-22
• 探索 Vue.js 的高级插槽特性：动态插槽与作用域插槽优化

  <thead><tr></th></tr></thead><tbody></td></tr></t

  阅读更多2025-01-22
• HarmonyOS NEXT：华为分享-碰一碰开发分享

  碰一碰”是HarmonyOS NEXT系统中的一项创新功能，它允许用户通过简单的设备接触，实现多种内容的快速分享。这一功能打破了传统文件传输和分享的局限性，无需复杂的网络设置或社交关系，只需将两个设备

  阅读更多2025-01-22
• 第17章 安全培训筑牢梦想根基

  在确认同事情况有所好转后，我们才回到考场，继续完成考试。王瑞瑞紧握着笔记本，点了点头，她的马尾辫随着动作轻轻摆动，但眼神却异常坚定：“是的，这让我们更加明白，我们的每一个小错误，都可能导致无法挽回的后

  阅读更多2025-01-22
• C# 中的Stopwatch和timer

  Stopwatch：用于测量时间间隔，适合性能分析和精确计时。Timer：用于在指定的时间间隔后执行代码，适合定时任务。根据你的具体需求，可以选择使用Stopwatch来测量时间间隔，或使用Timer

  阅读更多2025-01-22
• 学Python的人…

  它主要负责包管理比较臃肿，我也是后面学深度学习才开始用这个的不是必需，初学者可安可不安。提前思考好学习路线：思维导图中的基础部分所有的都要学，但高阶部分选定一个方向学就好。，它的交互性的确更强，但我觉

  阅读更多2025-01-22
• Comment(爆破+git泄漏+二次注入)

  即用户名为admin%27%0Aor%0A%271%27%3E%270%27%0Aor%0Aname%0Alike%0A%27admin。使用bugscanteam的githack工具，下载泄漏的源码

  阅读更多2025-01-22