go-zero(七) RPC服务和ETCD

🕗 发布于 2024-11-20 07:14 golang rpc etcd

go-zero 实现 RPC 服务

在实际的开发中，我们是通过RPC来传递数据的，下面我将通过一个简单的示例，说明如何使用go-zero框架和 Protocol Buffers 定义 RPC 服务。

一、生成 RPC项目

在这个教程中，我们根据user.api文件，来编写一个user.proto 文件，创建一个用户管理的 RPC 服务.

1.回顾user.api

go-zero的 API 文件通常定义 HTTP 接口，包括请求和响应的格式。它主要用于 RESTful API 的定义。

我们先来回顾下之前的user.api文件

type (
RegisterRequest {
Username string `json:"username" validate:"required"` // 注册请求，用户名
Password string `json:"password" validate:"required"` // 注册请求，密码
}
RegisterResponse {
Message string `json:"message"` // 响应消息
}
)

type (
LoginRequest {
Username string `json:"username" validate:"required"` // 登录请求，用户名
Password string `json:"password" validate:"required"` // 登录请求，密码
}
LoginResponse {
Token string `json:"token"` // 登录响应，JWT token
}
)

@server (
group:  user // 代表当前 service 代码块下的路由生成代码时都会被放到 user 目录下
prefix: /v1 //定义路由前缀为 "/v1"
)
// 微服务名称为 user-ap，生成的代码目录和配置文件将和 user 值相关
service user-api {
//用户注册
@handler RegisterHandler
//提交post请求   RegisterRequest为请求体  RegisterResponse为响应体
post /register (RegisterRequest) returns (RegisterResponse)

//用户登录
@handler LoginHandler
post /login (LoginRequest) returns (LoginResponse)
}

//因为我们想要通过jwt来传递数据，所以我们不需求请求信息
type (
GetInfoResponse {
Username string `json:"username" `
Password string `json:"password" `
}
)

//更新数据我们就简单修改下密码
type (
UpdataRequest {
Password string `json:"password" ` // 更新请求，新的密码
}
UpdataResponse {
Message string `json:"message"` // 更新响应消息
}
)

@server (
group:  user
prefix: /v1
jwt:    Auth //开启jwt
)
service user-api {
@handler GetInfoHandler
// 不需要请求信息
post /getinfo returns (GetInfoResponse)

@handler UpdataHandler
post /updata (UpdataRequest) returns (UpdataResponse)
}

2. 创建proto 文件

Proto 文件，用于定义 gRPC 服务和消息格式。它主要用于远程过程调用（RPC），使用 Protocol Buffers 进行数据序列化。

根据user.api文件创建user.proto文件:

syntax = "proto3";  //声明使用 Protocol Buffers 的版本为 3

//proto 包名
package pb;
//生成 golang 代码后的包名
option go_package ="./pb";  //必须要有“./” 这样的路径
//指定生成的 Go 代码的包名为 pb，在同一目录下创建一个名为 pb 的包

//定义用户消息结构
message Users {
  int64 id = 1; // 用户 ID
  string username = 2; // 用户名
  string password = 3; // 密码
  int64 createdAt = 4; // 创建时间
}


//注册请求消息
message RegisterReq {
  string username = 1; // 用户名
  string password = 2; // 密码
  int64 createdAt = 3; // 创建时间
}

//注册响应消息
message RegisterResp {
  string message =1; // 响应消息
}
//登录请求消息
message LoginReq {
  string username = 1; // 用户名
  string password = 2; // 密码
}
//登录响应消息
message LoginResp {
  string token = 1; // JWT token
}

//更新数据请求消息
message UpdateReq {
  string password = 1; //password
}

//更新数据响应消息
message UpdateResp {
  string message =1;
}


// 通过username查询 请求消息
message GetInfoReq {
  string username = 1; //id
}

// 通过username查询 响应消息
message GetInfoResp {
  Users users = 1; //users
}

//定义了一个名为 user 的服务，提供了四个 RPC（Remote Procedure Call）方法，
// 分别对应用户的注册、登录、更新信息和查询信息操作：
service user{
  rpc Register(RegisterReq) returns (RegisterResp);
  rpc Login(LoginReq) returns (LoginResp);
  rpc Update(UpdateReq) returns (UpdateResp);
  rpc Getinfo(GetInfoReq) returns (GetInfoResp);
}

可以看到user.proto文件和 user.api结构都差不多

3.API 文件与 Proto 文件的关系

字段一致性
虽然它们不需要完全一致，但在以下方面保持一致是好的实践：

字段名称：请求和响应消息的字段名称在 API 和 Proto 中应当保持一致，以避免混淆和确保一致的接口。
数据类型：字段的数据类型应在 API 和 Proto 中一致，确保数据传输时类型安全。
业务逻辑：API 和 Proto 文件应反映相同的业务逻辑。例如，如果 API 文件中的某个字段代表用户的 username，那么在 Proto 文件中也应有相应的 username 字段，以确保在处理登录或注册时一致。

实现一致性
在上面的文件中，RegisterRequest 和 RegisterResp 的字段在类型和名称上是一致的。这有助于维护这些接口之间的一致性。而在后端实现中，你可以从 API 层接收请求数据，并在处理时将这些数据转换为 Proto 消息，随后调用 gRPC 服务。

4.使用goctl生成代码

goctl rpc 是 goctl 中的核心模块之一，其可以通过 .proto 文件一键快速生成一个 rpc 服务,在项目根目录下新建一个RPC 目录，并执行以下命令生成 RPC 服务：

 goctl rpc protoc user.proto  --go_out=. --go-grpc_out=. --zrpc_out=. --client=true

goctl rpc protoc 是根据 protobufer 文件生成 rpc 服务
go_out 是proto生成的go代码所在的目录，proto本身的命令参数
go-grpc_out 是proto生成的grpc代码所在的目录，proto本身的命令参数,和go_out必须同一个目录
zrpc_out 是 goctl rpc自带的命令，go-zero生成的代码所在的目录
client=true 是否生成客户端代码

二、实现RPC服务端

1. 配置说明

在使用gRPC服务时，我们会用到go-zero内置的RpcClientConf配置和RpcServerConf配置

RpcSeverConf：

ServiceConf: 基础服务配置
ListenOn: 监听地址
Etcd: etcd 配置项
Auth: 是否开启 Auth
Redis: rpc 认证，仅当 Auth 为 true 生效
Timeout: 超时时间
Middlewares: 启用中间件
Health: 是否开启健康检查

RpcClientConf：

Etcd: 服务发现配置，当需要使用 etcd 做服务发现时配置
Endpoints: RPC Server 地址列表，用于直连，当需要直连 rpc server 集群时配置
Target: 域名解析地址，名称规则请参考
App: rpc 认证的 app 名称，仅当 rpc server 开启认证时配置
Token: rpc 认证的 token，仅当 rpc server 开启认证时配置
NonBlock: 是否阻塞模式,当值为 true 时，不会阻塞 rpc 链接
Timeout: 超时时间
KeepaliveTime: 保活时间
Middlewares: 是否启用中间件

我们现在只关注Etcd和Endpoints 这两个参数说明，rpc服务端和客户端直接是支持etcd和直连的。

2. 初始化配置

在实际开发者，我们希望尽量使用rpc来实现数据库的CURD,为了方便RPC调用，我们将之前生成的 model 移动到项目根目录。
在这里插入图片描述

如果不知道model怎么生成的，可以看前面的文章

在user.yaml配置中添加数据库连接和 JWT 配置，并去掉etcd配置，采用直连模式：

Name: user.rpc
ListenOn: 0.0.0.0:8080
#因为是演示项目，所以我们不需要使用ETCD，直接直连就可以了
#Etcd:  
#  Hosts:
#  - 127.0.0.1:2379
#  Key: user.rpc

#为RPC添加 auth和数据连接
JwtAuth:
  AccessSecret: "sss12345678" # AccessSecret的值要是8位以上的字符串
  AccessExpire: 10000 #AccessExpire是过期时间，单位是秒

MysqlDB:
# 数据库需要替换成你实际的地址、账号、密码和数据库
  DbSource: "root:root@tcp(127.0.0.1:33069)/test_zero?charset=utf8mb4&parseTime=True&loc=Local"

接着在config.go文件中添加字段：

type Config struct {
zrpc.RpcServerConf

JwtAuth struct {
AccessSecret string
AccessExpire int64
}

MysqlDB struct {
DbSource string `json:"dbSource"`
}
}

在servicecontext.go文件中注册数据模型，

type ServiceContext struct {
Config config.Config
UserModel model.UsersModel   //配置model
}

func NewServiceContext(c config.Config) *ServiceContext {
return &ServiceContext{
Config:    c,
// 用数据库连接初始化model
UserModel: model.NewUsersModel(sqlx.NewMysql(c.MysqlDB.DbSource)),
}
}

到这你会发现，rpc用法基本上和原来的api服务一样。

3. 实现业务逻辑

现在我们来实现业务逻辑，这里我只演示登录业务，因为代码基本上和之前的API项目没啥区别，打开loginlogic.go:

func (l *LoginLogic) Login(in *pb.LoginReq) (*pb.LoginResp, error) {
// todo: add your logic here and delete this line

userModel := l.svcCtx.UserModel
//在api中 是req.Username  现在修改成 in.Username
user, err := userModel.FindOneByUsername(l.ctx, in.Username)
if err != nil && err != model.ErrNotFound {
return nil, errors.New(0, "数据库连接失败")
}

//从配置文件中获取secret 、secret
secret := l.svcCtx.Config.JwtAuth.AccessSecret
expire := l.svcCtx.Config.JwtAuth.AccessExpire
//生成jwt token
token, err := getJwtToken(secret, time.Now().Unix(), expire, in.Username)
if err != nil {
return nil, errors.New(4, "token生成失败")
}
//查询username判断是否有数据
if user != nil {
//如果有数据，密码是否和数据库匹配
//在api中 是req.Password  现在修改成 in.Password 
if in.Password == user.Password {


return &pb.LoginResp{
Token: "Bearer " + token, //开头添加Bearer
}, nil

} else {
return nil, errors.New(5, "密码错误")
}
} else {
return nil, errors.New(6, "用户未注册")

}
}

4. 测试RPC服务

由于 RPC 不能像 REST API 那样直接使用 Postman的http 或 cURL 进行测试，我们需要使用 grpcurl 工具，先去网站中下载好工具,下载完成后，需要配置环境变量或者直接放在GOPATH的bin目录下即可。

下载地址：https://github.com/fullstorydev/grpcurl

grpcurl的使用方法你们可以去看下官方文档，我就不过多介绍了。

为了演示直观一点，我使用Postman进行测试,首先新建一个请求，然后把http 切换成gRPC

在这里插入图片描述

我们先选择对应的proto文件，然后输入服务地址

在这里插入图片描述

选好proto文件后，会自动弹出服务的方法，我们选择Login

在这里插入图片描述

最后输入服务地址和请求参数，invoke 以测试服务。：

在这里插入图片描述

三、实现RPC客户端（在API中使用）

现在我们切换到API的项目中，刚刚我们实现了RPC的服务端，现在我们需要实现RPC的客户端，也就是在API中实现RPC的调用。

1.初始化配置

首先我们需要在API中配置RPC的链接，打开user-api.yaml ,添加字段:

Name: user-api
Host: 0.0.0.0
Port: 8889

UserRpcConf:
  Endpoints:
    - 127.0.0.1:8080

服务端使用的直连，所以客户端我们也使用Endpoints进行直连，因为我们现在使用rpc对model进行操作，所以需要删除关于数据库和Auth 认证相关的字段.

接着修改，config,go文件：

type Config struct {
rest.RestConf

// 添加prc链接
UserRpcConf zrpc.RpcClientConf
}

最后修改servicecontext.go文件，把rpc服务注册到上下文：

type ServiceContext struct {
Config    config.Config
UserRpc   user.User  //添加user服务
}

func NewServiceContext(c config.Config) *ServiceContext {
return &ServiceContext{
Config:    c,
// 初始化user服务
UserRpc:   user.NewUser(zrpc.MustNewClient(c.UserRpcConf)),
}
}

2. 调用RPC服务

我们在loginlogic.go中调用 RPC 登录服务：

import (
/*
....省略其他包
*/
userRpc "newTest/newrpc/user"  //导入userRPC服务，设置别名避免冲突
// 为了避免服务名冲突，应该在proto文件就考虑好服务名的设置
)

func (l *LoginLogic) Login(req *types.LoginRequest) (resp *types.LoginResponse, err error) {
// todo: add your logic here and delete this line
 //从服务上下文获取UserRpc的login服务
loginResp, err := l.svcCtx.UserRpc.Login(l.ctx, &userRpc.LoginReq{
Username: req.Username,  //从请求中获取username
Password: req.Password, //从请求中获取Password
})
if err != nil {
return nil, errors.New(13, "登录rpc链接错误")
}
return &types.LoginResponse{
Token: loginResp.Token,
}, nil
}

通过代码你可以发现，go-zero调用RPC服务就是这么简单，像调用本地服务一样。

3.测试RPC调用

启动 user RPC 和 user API 的服务，进行测试：

在这里插入图片描述

四、使用etcd

如何让服务快速并透明地加入计算集群，并确保集群中的所有机器都能迅速找到共享的配置信息，同时构建一个高可用、安全、易于部署且响应迅速的服务集群，都是待解决的挑战。etcd 作为一种工具，为解决这些问题提供了有效的解决方案。

1.什么是 etcd？

etcd 是一个开源的分布式键值存储系统，主要用于配置共享、服务发现和数据管理，以确保各个服务之间能够高效、可靠地协调和通信。

etcd 通常使用 Raft 算法来确保强一致性和高可用性，这使它非常适合存储和管理配置信息、服务注册信息以及其他关键数据。

etcd 的主要特点：

强一致性：
- etcd 使用 Raft 共识算法，确保数据的一致性和高可靠性，特别是在节点故障或网络分区的情况下。
高可用性：
- etcd 能够根据选定的副本数进行扩展，并能够承受部分节点的故障，而不会影响整体服务的可用性。
简洁的 API：
- etcd 提供简单的 HTTP/gRPC 接口，允许用户轻松存取和管理数据。
支持 Watch 功能：
- 用户可以订阅/观察特定键的更改，这使得应用程序能够根据配置变化做出实时反应。
版本控制：
- etcd 自动为每个键生成版本号，用户可以方便地访问和回滚到特定版本的配置。
轻松集成：
- etcd 在云原生应用程序和微服务架构中广泛使用，特别是 Kubernetes 作为其核心组件。

2.为什么使用 etcd？

使用 etcd 的原因主要包括以下几点：

配置管理：
- 在分布式系统中，服务的配置通常需要在多个节点之间共享和一致。etcd 允许你集中存储所有配置，并在节点之间保持一致性。
服务发现：
- 微服务架构中，应该能够快速发现和连接到可用的服务实例。etcd 提供服务注册和发现功能，使得服务可以动态注册和注销。
高可用性和容错性：
- etcd 设计上考虑了高可用性和节点故障容错。当某些节点发生故障时，系统可以通过其他节点继续提供服务，从而避免单点故障。
强一致性保障：
- 尽管分布式系统的拓扑结构可能变化，但是 etcd 确保了一致性，使得在任何时间点读取的数据都是最新的，适合管理关键配置数据。
实时监控与通知：
- 使用 etcd 的 Watch 功能，可以在配置更改时获得实时通知，这对于动态更新配置非常有用。

3. 在docker中部署etcd

我们使用docke部署etcd ,创建etcd.yaml,把下面的内容保存到改文件上：

ersion: "3.5"
services:
  Etcd:
    container_name: etcd3-go-zero
    image: bitnami/etcd:3.5.6
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    environment:
      - ALLOW_NONE_AUTHENTICATION=yes
      - ETCD_SNAPSHOT_COUNT=10000
      - ETCD_QUOTA_BACKEND_BYTES=6442450944
    privileged: true
    volumes:
      - ./volumes/etcd/data:/bitnami/etcd/data
    ports:
      - 2379:2379
      - 2380:2380

然后使用docker-compose 拉取仓库：

docker-compose -f docker-compose-etcd.yml up -d

4.使用etcd

server端
在 user.yaml 中取消 etсd 的注释并配置：

Name: user.rpc
ListenOn: 0.0.0.0:8080
# 取消etcd的注释，重新启用
Etcd:
  Hosts:
  - 127.0.0.1:2379
  Key: user.rpc

client端
在 user-api.yaml 中修改 RPC 配置，使用 etcd 进行服务发现：

Name: user-api
Host: 0.0.0.0
Port: 8889

#取消Endpoints直连，使用etcd
UserRpcConf:
  #Endpoints:
  #  - 127.0.0.1:8080
  Etcd:
    Hosts:
      - 127.0.0.1:2379
    Key: user.rpc  #和server的key要一致

注意 server和client的 key要一致

原文地址：https://blog.csdn.net/yang731227/article/details/143880624

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：金融数据中心容灾“大咖说” | Veritas的“高举高打”之道
下一篇：centos stream 9安装docker教程

关于做完 C# 项目的问题总结 2
c#
阅读更多2024-11-21
Hello-Go
GOPATH 和 GOROOT ：不同于其他语言，go中没有项目的说法，只有包，其中有两个重要的路径，GOROOT 和 GOPATHGo 语言依赖几个关键的环境变量来管理开发环境、编译器、工具链和包管
阅读更多2024-11-21
深入探索Golang的GMP调度机制：源码解析与实现原理
Go语言的GMP调度模型是实现高效并发编程的关键所在。通过深入了解GMP调度机制的实现原理和源码细节，我们可以更好地理解和利用Go语言的并发特性。无论是对于Go语言的开发者还是对于系统性能优化感兴趣的
阅读更多2024-11-21
kafka是如何做到高效读写
消息持久化：Kafka 将消息存储在磁盘上，并且通过顺序写入的方式提高写入性能。消息被追加到日志文件的尾部，避免了随机写操作，从而提高了写入速度。零拷贝技术：利用操作系统的零拷贝特性，数据可以从
阅读更多2024-11-21
Kafka 2.8 源码导读
Kafka 是一个分布式流处理平台，广泛用于实时数据流的处理和传输。Kafka 2.8 版本引入了一些新特性和改进。以下是 Kafka 2.8 源码的导读，帮助你理解其核心组件和实现机制。
阅读更多2024-11-21
【蓝桥杯C/C++】C语言和C++的常量概念与区别分析
2024.11.16-✍53min
阅读更多2024-11-21
40分钟学 Go 语言高并发：开发环境搭建与工程化实践
Windows系统：Linux/Mac系统：2. Go Module依赖管理2.1 主要命令表格命令说明示例go mod init初始化模块go mod tidy整理依赖go mod download
阅读更多2024-11-21
QT如何共享文件+拷贝文件
在这里插入图片描述!
阅读更多2024-11-21
渗透测试导学
渗透测试是干什么？渗透测试的定义和目的：渗透测试是一种通过模拟恶意黑客的攻击方法，来评估计算机网络系统安全性能的评估方法。它的目的是通过识别安全问题，帮助了解当前的安全状况，从而帮助管理人员建立可靠的
阅读更多2024-11-21
45.坑王驾到第九期：Mac安装typescript后tsc命令无效的问题
Mac 安装 typescript 后 tsc 命令无效的问题
阅读更多2024-11-21

go-zero(七) RPC服务和ETCD

go-zero 实现 RPC 服务

一、生成 RPC项目

1.回顾user.api

2. 创建proto 文件

3.API 文件与 Proto 文件的关系

4.使用goctl生成代码

二、实现RPC服务端

1. 配置说明

2. 初始化配置

3. 实现业务逻辑

4. 测试RPC服务

三、实现RPC客户端（在API中使用）

1.初始化配置

2. 调用RPC服务

3.测试RPC调用

四、使用etcd

1.什么是 etcd？

2.为什么使用 etcd？

3. 在docker中部署etcd

4.使用etcd

相关文章