go-web项目通用脚手架
前言
构建go-web项目时，在编写业务逻辑代码之前，还需搭建脚手架（框架）：进行编写配置文件、整合web框架（gin框架）和数据库框架（sqlx）等，搭建脚手架的过程就类似于Java中的SSM整合
编写配置文件
采用yaml格式编写配置文件，配置文件中规定项目要用到的一些重要配置属性（例如此项目的名称版本号等、mysql和redis的用户名密码等、配置文件的文件大小和存储时间等）。
在项目中使用Viper中间件，从配置文件读取配置信息，使得项目运行时可以获取到配置文件中的信息。Viper还可以监视配置文件，每当配置文件发生改变时，会执行自定义的回调函数。
配置文件示例如下：
app:
name: "web_app"
mode: "dev"
port: 8081
version: "v0.0.1"
start_time: 2020-07-01
machine_id: 1
log:
level: "debug"
filename: "web_app.log"
max_size: 1000 #文件大小
max_backups: 3600 #备份数量
max_age: 5 #存储时间
mysql:
host: "127.0.0.1"
port: 3306
user: "root"
password: "325523"
db: "bluebell" #数据库名称
max_open_conns: 200 #最大连接数
max_idle_conns: 50 #最大空闲连接数
redis:
host: "127.0.0.1"
password: ""
port: 6379
db: 0
pool_size: 100
min_idle_conns: 50我们通常使用结构体来对应配置文件中的信息，这样使用Viper读取配置文件后，可以将对应的信息映射到结构体中，在项目中直接访问结构体来获取配置文件的信息
示例的配置文件对应的结构体如下：
同时编写初始化Viper的函数，用来读取配置文件信息并将其反序列化到结构体中
package settings
import (
"fmt"
"github.com/fsnotify/fsnotify"
"github.com/spf13/viper"
)
var Conf = new(AppConfig)
type AppConfig struct {
Name string `mapstructure:"verdion"`
Mode string `mapstructure:"mode"`
Version string `mapstructure:"version"`
StartTime string `mapstructure:"start_time"`
MachineID int64 `mapstructure:"machine_id"`
Port int `mapstructure:"port"`
*LogConfig `mapstructure:"log"`
*MySQLConfig `mapstructure:"mysql"`
*RedisConfig `mapstructure:"redis"`
}
type MySQLConfig struct {
Host string `mapstructure:"host"`
User string `mapstructure:"user"`
Password string `mapstructure:"password"`
DB string `mapstructure:"db"`
Port int `mapstructure:"port"`
MaxOpenConns int `mapstructure:"max_open_conns"`
MaxIdleConns int `mapstructure:"max_idle_conns"`
}
type RedisConfig struct {
Host string `mapstructure:"host"`
Password string `mapstructure:"password"`
Port int `mapstructure:"port"`
DB int `mapstructure:"db"`
PoolSize int `mapstructure:"pool_size"`
MinIdleConns int `mapstructure:"min_idle_conns"`
}
type LogConfig struct {
Level string `mapstructure:"level"`
Filename string `mapstructure:"filename"`
MaxSize int `mapstructure:"max_size"`
MaxAge int `mapstructure:"max_age"`
MaxBackups int `mapstructure:"max_backups"`
}
// 初始化viper，读取配置文件并监视更改
func Init() error {
viper.SetConfigName("config") // 配置文件名称(无扩展名)
viper.SetConfigType("yaml") // 如果配置文件的名称中没有扩展名，则需要配置此项
viper.AddConfigPath("./conf/") // 查找配置文件所在的路径
err := viper.ReadInConfig() // 查找并读取配置文件
if err != nil { // 处理读取配置文件的错误
//读取配置信息失败
panic(fmt.Errorf("ReadInConfig failed, err: %v", err))
}
err = viper.Unmarshal(&Conf) // 将配置文件信息反序列化到Conf结构体中
if err != nil {
panic(fmt.Errorf("unmarshal to Conf failed, err:%v", err))
}
//监视配置文件的更改
viper.WatchConfig()
viper.OnConfigChange(func(in fsnotify.Event) {
fmt.Printf("配置文件修改了...")
err = viper.Unmarshal(&Conf)
if err != nil {
panic(fmt.Errorf("unmarshal to Conf failed, err:%v", err))
}
})
return err
}
初始化日志配置
gin框架配置ZAP
介绍在基于gin框架开发的项目中如何配置并使用zap来接收并记录gin框架默认的日志和如何配置日志归档。
gin默认的中间件
首先我们来看一个最简单的gin项目：
func main() {
r := gin.Default()
r.GET("/hello", func(c *gin.Context) {
c.String("hello liwenzhou.com!")
})
r.Run(
}接下来我们看一下gin.Default()的源码：
func Default() *Engine {
debugPrintWARNINGDefault()
engine := New()
engine.Use(Logger(), Recovery())
return engine
}也就是我们在使用gin.Default()的同时是用到了gin框架内的两个默认中间件Logger()和Recovery()。
其中Logger()是把gin框架本身的日志输出到标准输出（我们本地开发调试时在终端输出的那些日志就是它的功劳），而Recovery()是在程序出现panic的时候恢复现场并写入500响应的。
基于zap的中间件
我们可以模仿Logger()和Recovery()的实现，使用我们的日志库来接收gin框架默认输出的日志。
这里以zap为例，我们实现两个中间件如下：
// GinLogger 接收gin框架默认的日志
func GinLogger(logger *zap.Logger) gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
path := c.Request.URL.Path
query := c.Request.URL.RawQuery
c.Next()
cost := time.Since(start)
logger.Info(path,
zap.Int("status", c.Writer.Status()),
zap.String("method", c.Request.Method),
zap.String("path", path),
zap.String("query", query),
zap.String("ip", c.ClientIP()),
zap.String("user-agent", c.Request.UserAgent()),
zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
zap.Duration("cost", cost),
)
}
}
// GinRecovery recover掉项目可能出现的panic
func GinRecovery(logger *zap.Logger, stack bool) gin.HandlerFunc {
return func(c *gin.Context) {
defer func() {
if err := recover(); err != nil {
// Check for a broken connection, as it is not really a
// condition that warrants a panic stack trace.
var brokenPipe bool
if ne, ok := err.(*net.OpError); ok {
if se, ok := ne.Err.(*os.SyscallError); ok {
if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
brokenPipe = true
}
}
}
httpRequest, _ := httputil.DumpRequest(c.Request, false)
if brokenPipe {
logger.Error(c.Request.URL.Path,
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
// If the connection is dead, we can't write a status to it.
c.Error(err.(error)) // nolint: errcheck
c.Abort()
return
}
if stack {
logger.Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
zap.String("stack", string(debug.Stack())),
)
} else {
logger.Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
}
c.AbortWithStatus(http.StatusInternalServerError)
}
}()
c.Next()
}
}如果不想自己实现，可以使用github上有别人封装好的https://github.com/gin-contrib/zap。
这样我们就可以在gin框架中使用我们上面定义好的两个中间件来代替gin框架默认的Logger()和Recovery()了。
r := gin.New()
r.Use(GinLogger(), GinRecovery())在gin项目中使用zap
最后我们再加入我们项目中常用的日志切割，完整版的logger.go代码如下：
package logger
import (
"net"
"net/http"
"net/http/httputil"
"os"
"runtime/debug"
"strings"
"time"
"web_app/settings"
"github.com/gin-gonic/gin"
"github.com/natefinch/lumberjack"
"go.uber.org/zap"
"go.uber.org/zap/zapcore"
)
var lg *zap.Logger
// 初始化Logger，用来记录日志
func Init(cfg *settings.LogConfig, mode string) (err error) {
writeSyncer := getLogWriter(cfg.Filename, cfg.MaxSize, cfg.MaxBackups, cfg.MaxAge)
encoder := getEncoder()
var l = new(zapcore.Level)
err = l.UnmarshalText([]byte(cfg.Level))
if err != nil {
return
}
var core zapcore.Core
if mode == "dev" {
// 进入开发模式，日志输出到终端
consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig())
core = zapcore.NewTee(
zapcore.NewCore(encoder, writeSyncer, l),
zapcore.NewCore(consoleEncoder, zapcore.Lock(os.Stdout), zapcore.DebugLevel),
)
} else {
core = zapcore.NewCore(encoder, writeSyncer, l)
}
lg := zap.New(core, zap.AddCaller())
zap.ReplaceGlobals(lg) // 替换zap包中全局的logger实例，后续在其他包中只需使用zap.L()调用即可
zap.L().Info("init logger success")
return
}
func getEncoder() zapcore.Encoder {
encoderConfig := zap.NewProductionEncoderConfig()
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
encoderConfig.TimeKey = "time"
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
encoderConfig.EncodeDuration = zapcore.SecondsDurationEncoder
encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
return zapcore.NewJSONEncoder(encoderConfig)
}
func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
lumberJackLogger := &lumberjack.Logger{
Filename: filename,
MaxSize: maxSize,
MaxBackups: maxBackup,
MaxAge: maxAge,
}
return zapcore.AddSync(lumberJackLogger)
}
// GinLogger 接收gin框架默认的日志
func GinLogger() gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
path := c.Request.URL.Path
query := c.Request.URL.RawQuery
c.Next()
cost := time.Since(start)
zap.L().Info(path,
zap.Int("status", c.Writer.Status()),
zap.String("method", c.Request.Method),
zap.String("path", path),
zap.String("query", query),
zap.String("ip", c.ClientIP()),
zap.String("user-agent", c.Request.UserAgent()),
zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
zap.Duration("cost", cost),
)
}
}
// GinRecovery recover掉项目可能出现的panic，并使用zap记录相关日志
func GinRecovery(stack bool) gin.HandlerFunc {
return func(c *gin.Context) {
defer func() {
if err := recover(); err != nil {
// Check for a broken connection, as it is not really a
// condition that warrants a panic stack trace.
var brokenPipe bool
if ne, ok := err.(*net.OpError); ok {
if se, ok := ne.Err.(*os.SyscallError); ok {
if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
brokenPipe = true
}
}
}
httpRequest, _ := httputil.DumpRequest(c.Request, false)
if brokenPipe {
zap.L().Error(c.Request.URL.Path,
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
// If the connection is dead, we can't write a status to it.
c.Error(err.(error)) // nolint: errcheck
c.Abort()
return
}
if stack {
zap.L().Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
zap.String("stack", string(debug.Stack())),
)
} else {
zap.L().Error("[Recovery from panic]",
zap.Any("error", err),
zap.String("request", string(httpRequest)),
)
}
c.AbortWithStatus(http.StatusInternalServerError)
}
}()
c.Next()
}
}
在项目中先从配置文件加载配置信息，再调用 logger.InitLogger(config.Conf.LogConfig) 即可完成logger实例的初识化。其中，通过 r.Use(logger.GinLogger(), logger.GinRecovery(true)) 注册我们的中间件来使用zap接收gin框架自身的日志，在项目中需要的地方通过使用 zap.L().Xxx() 方法来记录自定义日志信息。
初始化MySQL和Redis配置
分别编写MySQL和Redis的初始化函数和关闭函数
package mysql
import (
"fmt"
"web_app/settings"
_ "github.com/go-sql-driver/mysql" // 导入数据库驱动
"github.com/jmoiron/sqlx"
"go.uber.org/zap"
)
var db *sqlx.DB
func Init(cfg *settings.MySQLConfig) (err error) {
dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?parseTime=true&loc=Local",
cfg.User,
cfg.Password,
cfg.Host,
cfg.Port,
cfg.DB,
)
// 也可以使用MustConnect连接不成功就panic
db, err = sqlx.Connect("mysql", dsn)
if err != nil {
zap.L().Error("connect DB failed", zap.Error(err))
return
}
db.SetMaxOpenConns(cfg.MaxOpenConns)
db.SetMaxIdleConns(cfg.MaxIdleConns)
return
}
func Close() {
_ = db.Close()
}
package redis
import (
"fmt"
"web_app/settings"
"github.com/go-redis/redis"
)
var client *redis.Client
// 初始化连接
func Init(cfg *settings.RedisConfig) (err error) {
client = redis.NewClient(&redis.Options{
Addr: fmt.Sprintf("%s:%d", cfg.Host, cfg.Port),
Password: cfg.Password, // no password set
DB: cfg.DB, // use default DB
PoolSize: cfg.PoolSize,
MinIdleConns: cfg.MinIdleConns,
})
_, err = client.Ping().Result()
if err != nil {
return
}
return
}
func Close() {
_ = client.Close()
}
初始化路由配置
此文件用来初始化gin框架路由，并将自定义的Zap日志库中的两个中间件加入路由
package routes
import (
"web_app/logger"
"github.com/gin-gonic/gin"
)
func Setup() *gin.Engine {
r := gin.New() //没有任何中间件
r.Use(logger.GinLogger(), logger.GinRecovery(true)) //添加自定义的中间件
return r
}
main函数
前面我们已经编写好了初始化配置文件、初始化日志、初始化MySQL和Redis、初始化路由的相关函数，只需在main函数中依次调用，即可进行各项配置的初始化。最后加入优雅关闭的HTTP请求的代码，能够平滑处理关闭请求而不丢失正在处理的任务。
package main
import (
"context"
"fmt"
"net/http"
"os"
"os/signal"
"syscall"
"time"
"web_app/dao/mysql"
"web_app/dao/redis"
"web_app/logger"
"web_app/routes"
"web_app/settings"
"github.com/spf13/viper"
"go.uber.org/zap"
)
// GoWeb开发较通用脚手架模版
func main() {
//1.加载配置
if err := settings.Init(); err != nil {
fmt.Printf("init settings failed, err:%v\n", err)
return
}
//2.初始化日志
if err := logger.Init(settings.Conf.LogConfig, settings.Conf.Mode); err != nil {
fmt.Printf("init logger failed, err:%v\n", err)
}
defer zap.L().Sync() //延迟注册，将缓冲区日志追加到文件中
//3.初始化MySQL连接
if err := mysql.Init(settings.Conf.MySQLConfig); err != nil {
fmt.Printf("init mysql failed, err:%v\n", err)
}
defer mysql.Close()
//4.初始化Redis连接
if err := redis.Init(settings.Conf.RedisConfig); err != nil {
fmt.Printf("init redis failed, err:%v\n", err)
}
defer redis.Close()
//5.注册路由
r := routes.Setup()
//6.启动服务（优雅关机）
srv := &http.Server{
Addr: fmt.Sprintf(":%d", viper.GetInt("a")),
Handler: r,
}
go func() {
// 开启一个goroutine启动服务
if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
zap.L().Fatal("listen: ", zap.Error(err))
}
}()
// 等待中断信号来优雅地关闭服务器，为关闭服务器操作设置一个5秒的超时
quit := make(chan os.Signal, 1) // 创建一个接收信号的通道
// kill 默认会发送 syscall.SIGTERM 信号
// kill -2 发送 syscall.SIGINT 信号，我们常用的Ctrl+C就是触发系统SIGINT信号
// kill -9 发送 syscall.SIGKILL 信号，但是不能被捕获，所以不需要添加它
// signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit
signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞
<-quit // 阻塞在此，当接收到上述两种信号时才会往下执行
zap.L().Info("Shutdown Server ...")
// 创建一个5秒超时的context
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
// 5秒内优雅关闭服务（将未处理完的请求处理完再关闭服务），超过5秒就超时退出
if err := srv.Shutdown(ctx); err != nil {
zap.L().Fatal("Server Shutdown: ", zap.Error(err))
}
zap.L().Info("Server exiting")
}
至此，web项目脚手架搭建完毕，可以开始进行业务代码的编写
原文地址：https://blog.csdn.net/2301_79368422/article/details/144010078
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！