gitlab使用多数据库

🕗 发布于 2025-01-21 08:54 数据库 gitlab

1. 说明

默认情况下，GitLab 使用一个单一的应用数据库，称为主数据库。为了扩展 GitLab，您可以将 GitLab 配置为使用多个应用数据库。

设置多个数据库后，GitLab 将使用第二个应用数据库用于 CI/CD 功能，称为 CI 数据库。我们并不排除将这两个数据库托管在单个 PostgreSQL 实例上。

主数据库和 CI 数据库中的所有表结构完全相同。
• 当配置了多个数据库时，ci_pipelines 表会同时存在于主数据库和 CI 数据库中，但 GitLab 只会在 CI 数据库的 ci_pipelines 表中进行读写。
• 同样，projects 表存在于主数据库和 CI 数据库中，但 GitLab 只会在主数据库的 projects 表中进行读写。
• 对于某些表（如 loose_foreign_keys_deleted_records），GitLab 会在主数据库和 CI 数据库中同时进行读写。请参见开发文档。

2. 配置

主要修改gitlab 的主配置文件（/etc/gitlab/gitlab.rb）

2.1 gitlab开放端口（gitlab 自带的数据库组件）

开放数据库的端口分两部操作

2.1.1 postgresql 的配置

数据库机器的 IP 为10.100.10.53

postgresql['listen_address'] = "0.0.0.0"
postgresql['port'] = 5432
postgresql['sql_user'] = "gitlab"
postgresql['sql_user_password'] = '0873d907a1dbffa91bae86d744306549' #通过该命令生成 gitlab-ctl pg-password-md5 gitlab
postgresql['md5_auth_cidr_addresses'] = %w(0.0.0.0/0)
postgresql['trust_auth_cidr_addresses'] = %w(127.0.0.1/32)
#postgresql['ssl'] = 'off'
gitlab_rails['auto_migrate'] = false #如果是首次reconfigure可以不要，如果已经首次初始化了，必须要有此配置

gitlab-ctl reconfigure
gitlab-ctl restart postgresql

2.1.2 Rails 的配置

gitlab_rails['db_host'] = '10.100.10.53'
gitlab_rails['db_port'] = 5432
gitlab_rails['db_database'] = "gitlabhq_production"
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "gitlab123"

gitlab-ctl reconfigure

2.2 gitlab使用外部的数据库

2.2.1 外部的数据库需要的信息

# 创建用户
create user gitlab login password 'gitlab123';
# 创建数据库
create database gitlabhq_production owner=gitlab ENCODING = 'UTF8';

# 安装扩展
## 可以通过 "\dx" 或者 "select extname,extowner,extnamespace,extrelocatable,extversion from pg_extension;" 来查看gitlab自带数据库的扩展
CREATE EXTENSION pg_trgm;
CREATE EXTENSION btree_gist;

2.2.2 gitlab主配置文件添加配置

postgresql['enable'] = false
gitlab_rails['db_adapter'] = 'postgresql' #固定配置
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['db_database'] = 'gitlabhq_production'
#gitlab_rails['db_pool'] = 10
gitlab_rails['db_username'] = 'gitlab'
gitlab_rails['db_password'] = 'gitlab123'
gitlab_rails['db_host'] = '192.168.1.112'
gitlab_rails['db_port'] = 15432

gitlab-ctl reconfigure

3. gitlab配置使用多数据库(有ci相关数据的基础上)

主要修改gitlab 的主配置文件（/etc/gitlab/gitlab.rb）

3.1 场景1: main 和 ci 都使用自带的数据库pg

# 开放自带的pg端口
postgresql['listen_address'] = "0.0.0.0"
postgresql['port'] = 5432
postgresql['sql_user'] = "gitlab"
postgresql['sql_user_password'] = '0873d907a1dbffa91bae86d744306549'
postgresql['md5_auth_cidr_addresses'] = %w(0.0.0.0/0)
postgresql['trust_auth_cidr_addresses'] = %w(127.0.0.1/32)
#postgresql['ssl'] = 'off'
gitlab_rails['auto_migrate'] = false

gitlab-ctl reconfigure
gitlab-ctl restart postgresql

rails 配置

gitlab_rails['db_host'] = '10.100.10.53'
gitlab_rails['db_port'] = 5432
gitlab_rails['db_database'] = "gitlabhq_production"
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "gitlab123"

gitlab-ctl reconfigure

配置CI库

gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
gitlab_rails['databases']['ci']['db_host']  = '10.100.10.53'
gitlab_rails['databases']['ci']['db_port'] = 5432
gitlab_rails['databases']['ci']['db_username'] = 'gitlab'
gitlab_rails['databases']['ci']['db_password'] = 'gitlab123'
gitlab_rails['databases']['ci']['db_adapter'] = 'postgresql'
gitlab_rails['databases']['ci']['db_encoding'] = 'UTF8'

gitlab-ctl reconfigure

<可选> 迁移表

sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo gitlab-rake db:schema:load:ci

对 main 数据库中的 ci 表进行锁定写入，反之亦然

sudo gitlab-ctl start postgresql
sudo gitlab-rake gitlab:db:lock_writes

sudo gitlab-ctl restart

说明:
如果现有的 gitlabhq_production 已经有了ci的相关数据，那么就通过停止puma/rails 服务，然后备份 gitlabhq_production 库，在将备份的sql写入到 gitlabhq_production_ci 库，确保多数据库配置好之后，ci相关数据走 gitlabhq_production_ci 库后有数据库，下面有操作。

3.2 场景2: main 和 ci 都使用外部的数据库pg

配置main库

# 不启用gitlab自带的数据库
postgresql['enable'] = false
# main database
gitlab_rails['db_database'] = 'gitlabhq_production'
gitlab_rails['db_host'] = '192.168.1.112'
gitlab_rails['db_port'] = 15432
gitlab_rails['db_username'] = 'gitlab'
gitlab_rails['db_password'] = 'gitlab123'
gitlab_rails['db_adapter'] = 'postgresql'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['auto_migrate']= true

gitlab-ctl reconfigure

配置CI库

# ci database
gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
gitlab_rails['databases']['ci']['db_host']  = '192.168.1.112'
gitlab_rails['databases']['ci']['db_port'] = 15432
gitlab_rails['databases']['ci']['db_username'] = 'gitlab'
gitlab_rails['databases']['ci']['db_password'] = 'gitlab123'
gitlab_rails['databases']['ci']['db_adapter'] = 'postgresql'
gitlab_rails['databases']['ci']['db_encoding'] = 'utf8'

说明：
外部的数据库配置好上面的操作后，执行 gitlab-ctl reconfigure 会报错，但是 /var/opt/gitlab/gitlab-rails/etc/database.yml 实际已经渲染了配置，因为为了能实现 gitlab-ctl reconfigure ，可以通过备份恢复的方式将 gitlabhq_production 导入到 gitlabhq_production_ci 中，同时这样的好处就是对于gitlabhq_production已经有了ci 相关的数据，导致有了ci库之后，走gitlabhq_production_ci 避免看不到之前ci相关的数据

# 备份 gitlabhq_production
/opt/gitlab/embedded/bin/pg_dump -h 10.100.10.53 -p 5432 -U gitlab -d gitlabhq_production -f database.sql

# 恢复到 gitlabhq_production_ci
/opt/gitlab/embedded/bin/psql -h 10.100.10.53 -p 5432 -U gitlab -d gitlabhq_production_ci -f database.sql

gitlab-ctl reconfigure 
# 重启服务
gitlab-ctl restart

4. 测试效果

在这里插入图片描述

5. gitlab配置使用多数据库(无ci相关数据的基础上)

同上述的配置方式，只是在reconfigure前添加环境变量，如

5.1 停止服务

gitlab-ctl stop

5.2 添加配置如下（/etc/gitlab/gitlab.rb）

gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

gitlab-ctl reconfigure

5.3 ci库初始化

重新配置极狐GitLab 应该会创建 gitlabhq_production_ci。如果没有，请手动创建 gitlabhq_production_ci。

sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
export DISABLE_DATABASE_ENVIRONMENT_CHECK=1 && gitlab-rake db:schema:load:ci

5.4 对 main 数据库中的 ci 表进行锁定写入，反之亦然

gitlab-ctl start postgresql
gitlab-rake gitlab:db:lock_writes

5.5 重启GitLab

gitlab-ctl restart

原文地址：https://blog.csdn.net/weixin_44729138/article/details/145258284

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：CentOS 7使用RPM安装MySQL
下一篇：基于springboot+thymeleaf+Redis仿知乎网站问答项目源码

2024年度数据科学与机器学习技术总结
✅作者简介：2022年博客新星。热爱国学的Java后端开发者，修心和技术同步精进。🍊个人信条：不迁怒，不贰过。小知识，大智慧。🥭本文内容：2024年度数据科学与机器学习技术总结。
阅读更多2025-01-21
鸿蒙Harmony json转对象（1）
HarmonyOS鸿蒙Next开发：按照key获取json的value网络请求的json获取value。下图为测试样例中服务器返回的Json数据。
阅读更多2025-01-21
探索可解释机器学习的奥秘：从定义到挑战的全景视角
近年来，随着机器学习技术的迅猛发展，人工智能模型被广泛应用于科学、技术和社会领域。然而，复杂的模型往往成为“黑盒”，使其决策逻辑难以理解。如何在保证模型性能的同时，让其变得更透明、更可信？**可解释机
阅读更多2025-01-21
打印输入单词字符数量统计直方图-Python版
打印输入单词字符数量统计直方图-Python版
阅读更多2025-01-21
【算法】算法基础课模板大全——第二篇
此笔记适用于AcWing网站的算法基础课，所有的资源链接、代码模板全部来源于网络，这个文档只是做了一些收集和整理，感谢文档中的所有资源原作者们！笔记作者QQ：`2468197060`笔记QQ群聊：`1
阅读更多2025-01-21
如何在Nginx服务器上配置访问静态文件目录并提供文件下载功能
通过以上步骤，您已成功在Nginx服务器上配置了一个静态文件目录，使得用户可以通过Web界面方便地访问和下载所需的文档资料。
阅读更多2025-01-21
c++优先队列
优先队列 priority_queue。2.定义元素为结构体类型的优先队列。1.定义元素为基本类型的优先队列。
阅读更多2025-01-21
睡眠时间影响因素K-Means可视化分析+XGBoost预测
睡眠时间影响因素K-Means可视化分析+XGBoost预测
阅读更多2025-01-21
c++常见设计模式之适配器模式
适配器模式作为c++中常见的设计模式模式之一，是一种结构型设计模式。那适配器模式用于解决什么问题呢？答案是将一个类的接口转换成客户期待的另一个接口。适配器让原本不兼容不能一起工作的类可以协同工作。
阅读更多2025-01-21
kafka 学习笔记3-传统部署Kraft模式集群——筑梦之路
一般模式下，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。kraft模式架构下，不再依赖zookeeper集群，而是用三台contro
阅读更多2025-01-21