Soar项目中添加一条新的SQL审核规则示例

🕗 发布于 2024-10-03 19:53 sql 数据库 mysql go soar

soar是一个开源的SQL规则审核工具，是一个go语言项目，可以直接编译构建成一个可执行程序，而且是一个命令行工具，我们可以利用archey来调用soar进行sql规则审核以及sql的分析，包括执行计划的查看及sql建议等。

soar中已经有很多规则了，现在来添加一条soar中没有的新的sql审核规则，例如一条新的审核规则：多表关联必须有关联条件，禁止出现笛卡尔积

我的思路是校验联表查询不允许没有on和useing关键词，同时不允许混用逗号和 ANSI 模式

首先在advisor包下的rule.go文件中添加规则说明

//多表关联必须有关联条件，禁止出现笛卡尔积
"JOI.009": {
Item:     "JOI.009",
Severity: "L4",
Summary:  "多表关联必须有关联条件，禁止出现笛卡尔积",
Content:  `多表关联必须有关联条件，禁止出现笛卡尔积`,
Case:     "SELECT s,p,d FROM tb1,tb2 ",
Func:     (*Query4Audit).RuleJoinQueryNoCondition,
},

同时会利用到本来用的联表的规则1

"JOI.001": {
Item:     "JOI.001",
Severity: "L2",
Summary:  "JOIN 语句混用逗号和 ANSI 模式",
Content:  `表连接的时候混用逗号和 ANSI JOIN 不便于人类理解，并且MySQL不同版本的表连接行为和优先级均有所不同，当 MySQL 版本变化后可能会引入错误。`,
Case:     "select c1,c2,c3 from t1,t2 join t3 on t1.c1=t2.c1,t1.c3=t3,c1 where id>1000",
Func:     (*Query4Audit).RuleCommaAnsiJoin,
},

然后来添加新的约束规则方法：

在advisor包下的heuristic.go文件中加上新的方法：

//判断联表查询中是否有关联条件 on 或者using 对应需求表中规则编号70
func (q *Query4Audit) RuleJoinQueryNoCondition() Rule {
var rule = q.RuleOK()
err := sqlparser.Walk(func(node sqlparser.SQLNode) (kontinue bool, err error) {
switch n := node.(type) {
case *sqlparser.Select:
ansiJoin := false
commaJoin := false
for _, f := range n.From {
switch f.(type) {
case *sqlparser.JoinTableExpr:
ansiJoin = true
case *sqlparser.AliasedTableExpr:
commaJoin = true
}
}
if ansiJoin && commaJoin {
rule = HeuristicRules["JOI.001"]
return false, nil
}
case *sqlparser.JoinTableExpr: // 处理 JOIN 表达式
if n.Condition.On == nil || len(n.Condition.Using) == 0 { // 检查是否有 ON 或 USING 条件
rule = HeuristicRules["JOI.009"] // 更新规则
return false, nil
}
}
return true, nil
}, q.Stmt)
common.LogIfError(err, "")
return rule
}

今天还加了几个其他的规则判断如下：rule.go文件中

//为每个字段应添加注释，对应需求表中的开发规则编号15
"CLA.011": {
Item:     "CLA.011",
Severity: "L1",
Summary:  "表中的每个字段都应该添加注释",
Content:  `为表添加注释能够使得表的意义更明确，从而为日后的维护带来极大的便利。`,
Case:     "CREATE TABLE `test1` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`c1` varchar(128) DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8",
Func:     (*Query4Audit).RuleTblCommentCheck,
},

//禁止查询时 select * 对应开发需求中的规则编号49
"COL.001": {
Item:     "COL.001",
Severity: "L1",
Summary:  "SELECT语句必须指定具体字段名称，禁止写成 select*",
Content:  `当表结构变更时，使用 * 通配符选择所有列将导致查询的含义和行为会发生更改，可能导致查询返回更多的数据。`,
Case:     "select * from tbl where id=1",
Func:     (*Query4Audit).RuleForbiddenSelectStar,
},


//建表语句以及alter语句修改表结构时候自增列字段使用bigint,.禁止使用int类型 对应需求表中的规则编号19
"COL.020": {

Item:     "COL.020",
Severity: "L2",
Summary:  "自增列字段使用bigint,.禁止使用int类型，防止存储溢出",
Content:  `自增列字段使用bigint,.禁止使用int类型，防止存储溢出`,
Case:     "create table test(`id` int(11) NOT NULL AUTO_INCREMENT)",
Func:     (*Query4Audit).RuleAutoIncShouldBigint,
},

//建表语句以及修改表结构时中禁止使用float、double类型，小数类型使用decimal类型 对应需求表中的规则编号8
"COL.021": {
Item:     "COL.021",
Severity: "L2",
Summary:  "建表语句以及修改表结构时中禁止使用float、double类型，小数类型使用decimal类型 ",
Content:  `建表语句以及修改表结构时中禁止使用float、double类型，小数类型使用decimal类型`,
Case:     "create table test(`id` int(11) NOT NULL AUTO_INCREMENT)",
Func:     (*Query4Audit).RuleFloatDoubleCheck,
},

对应的方法：heuristic.go文件中：

// RuleTblCommentCheck CLA.011 检查表中每个字段是否都添加注释,对应需求表中的开发规则编号15
func (q *Query4Audit) RuleTblCommentCheck() Rule {
var rule = q.RuleOK()
switch node := q.Stmt.(type) {
case *sqlparser.DDL:
if strings.ToLower(node.Action) != "create" {
return rule
}
if node.TableSpec == nil {
return rule
}
if options := node.TableSpec.Options; options == "" {
rule = HeuristicRules["CLA.011"]
} else {
//正则表达式匹配comment,不区分大小写
reg := regexp.MustCompile("(?i)comment")
if !reg.MatchString(options) {
rule = HeuristicRules["CLA.011"]
}
}
}
return rule
}

// RuleForbiddenSelectStar COL.001 禁止使用select *  对应需求表中的开发规则编号49
func (q *Query4Audit) RuleForbiddenSelectStar() Rule {
var rule = q.RuleOK()
// 先把count(*)替换为count(1)
re := regexp.MustCompile(`(?i)count\s*\(\s*\*\s*\)`)
sql := re.ReplaceAllString(q.Query, "count(1)")
stmt, err := sqlparser.Parse(sql)
if err != nil {
common.Log.Debug("RuleSelectStar sqlparser.Parse Error: %v", err)
return rule
}
err = sqlparser.Walk(func(node sqlparser.SQLNode) (kontinue bool, err error) {
switch node.(type) {
case *sqlparser.StarExpr:
rule = HeuristicRules["COL.001"]
return false, nil
}
return true, nil
}, stmt)
common.LogIfError(err, "")
return rule
}

// 建表以及修改表字段时候自增列字段使用bigint,.禁止使用int类型 对应需求表中的规则编号19
func (q *Query4Audit) RuleAutoIncShouldBigint() Rule {
var rule = q.RuleOK()
switch q.Stmt.(type) {
case *sqlparser.DDL:
for _, tiStmt := range q.TiStmt {
switch node := tiStmt.(type) {
case *tidb.CreateTableStmt:
for _, col := range node.Cols {
if col.Tp == nil {
continue
}
for _, opt := range col.Options {
if opt.Tp == tidb.ColumnOptionAutoIncrement {
if col.Tp.Tp != mysql.TypeLong { // 检查是否为 bigint 类型
rule = HeuristicRules["COL.020"]
break
}
}
if rule.Item == "COL.020" {
break
}
}
}
case *tidb.AlterTableStmt:
for _, spec := range node.Specs {
switch spec.Tp {
case tidb.AlterTableChangeColumn, tidb.AlterTableAlterColumn,
tidb.AlterTableModifyColumn, tidb.AlterTableAddColumns:
for _, col := range spec.NewColumns {
if col.Tp == nil {
continue
}
for _, opt := range col.Options {
if opt.Tp == tidb.ColumnOptionAutoIncrement {
if col.Tp.Tp != mysql.TypeLong { // 检查是否为 bigint 类型
rule = HeuristicRules["COL.020"]
break
}
}
if rule.Item == "COL.020" {
break
}
}
}
}
}
}
}
}
return rule
}

//建表语句以及修改表结构时中禁止使用float、double类型，小数类型使用decimal类型 对应需求表中的规则编号8
func (q *Query4Audit) RuleFloatDoubleCheck() Rule {
var rule = q.RuleOK()
switch q.Stmt.(type) {
case *sqlparser.DDL:
for _, tiStmt := range q.TiStmt {
switch node := tiStmt.(type) {
case *tidb.CreateTableStmt:
for _, col := range node.Cols {
if col.Tp == nil {
continue
}
if col.Tp.Tp == mysql.TypeFloat || col.Tp.Tp == mysql.TypeDouble {
rule = HeuristicRules["COL.021"]
break
}
}
case *tidb.AlterTableStmt:
// 对 ALTER TABLE 语句的类似检查
for _, spec := range node.Specs {
switch spec.Tp {
case tidb.AlterTableChangeColumn, tidb.AlterTableAlterColumn,
tidb.AlterTableModifyColumn, tidb.AlterTableAddColumns:
for _, col := range spec.NewColumns {
if col.Tp == nil {
continue
}
if col.Tp.Tp == mysql.TypeFloat || col.Tp.Tp == mysql.TypeDouble {
rule = HeuristicRules["COL.021"]
break
}
}
}
}
}
}
}
return rule
}

通过代码可以看出一些规则实际上是调用了tidb的审核分析工具包进行处理的。sql语句的解析拆分各个部分当然还是用的sqlparser,sqlparser又在vitess模块依赖包下

拆分sql语句靠sqlparser,分析sql则依赖tidb（pingcap公司产品）的相关模块工具依赖包

比如判断mysql的字段的各种数据类型，再比如判断sql语句属于类名类型

而且tidb主要用于分析mysql语句

原文地址：https://blog.csdn.net/u011174699/article/details/142620335

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：微服务SpringGateway解析部署使用全流程
下一篇：NVIDIA G-Assist 项目：您的游戏和应用程序AI助手

maven工程的血案
maven工程的血案
阅读更多2024-10-03
银河麒麟服务器操作系统中查询服务器主板型号
在银河麒麟高级服务器操作系统（Kylin Advanced Server Operating System）中，有时候我们需要了解服务器的硬件配置信息，特别是主板型号，以便进行故障诊断、性能优化或硬件
阅读更多2024-10-03
React返回上一个页面，会重新挂载吗
1、默认情况下，返回到之前的页面会重新挂载组件，即重新执行组件的生命周期或钩子函数。2、避免组件重新挂载的方法：使用 React Router 的嵌套路由或布局组件。通过 localStorage 或
阅读更多2024-10-03
React响应式修改数组和对象
React的状态是不可变的，这意味着你不能直接修改状态对象中的数组元素，而是需要创建一个新的数组来更新状态。你不能直接修改对象中的属性，而是需要创建一个新的对象来更新状态。不可变性（Immutabil
阅读更多2024-10-03
Stable Diffusion的Lora使用和训练如何使用和训练LoRA模型？你想要的都在这！--人人都可以当炼金术士！
随着人工智能技术的不断发展，图像生成与反推技术已经成为了AI领域的一大热点。今天，我们就来为大家详细介绍Stable Diffusion的Lora使用和训练方法，让每个人都能成为炼金术士，创造出属于自
阅读更多2024-10-03
Laravel Admin 中的 “Array to String Conversion“ 问题及其解决方法
在使用 Laravel Admin 进行开发时，可能会遇到 “Array to string conversion” 的错误。这种错误通常发生在尝试将一个数组转换为字符串的过程中，尤其是在数据库模型中
阅读更多2024-10-03
用Python+flask+mysql等开发的Excel数据资产落地工具
2.2)系统自动识别字段列名及数据类型,目前不支持合并表头。4)对数据表源可进行透视图设计管理,可对字段设置是否列表显示,是否可查询筛选,列表排序等。5)对建好的视图,可进行图表设计,如升序,降序,按
阅读更多2024-10-03
28 Vue3之搭建公司级项目规范
可以看到保存的时候ref这行被提到了最前面的一行要求内置库放在组件的前面称为auto fix，数组new arry改成了字面量，这就是我们配置的规范airbnb规范： https://github.
阅读更多2024-10-03
nodejs：实现大文件的分段上传
【代码】nodejs：实现大文件的分段上传。
阅读更多2024-10-03
面试准备111
Java基础反射Java用反射分析类的能力;在程序运行期间,jvm会为所有的对象维护一个Class类,获取Class类实例的方法——Object的getClass()方法,使用实例对象调用该方法;C
阅读更多2024-10-03

Soar项目中添加一条新的SQL审核规则示例

相关文章