使用jenkins将airflow-dbt部署到服务器上
系列文章目录
课程地址YT
Complete CICD DevOps project | Git, Dockerhub, Dockerhost,Jenkins|Deploying container on web-server
一、jenkins服务器的初始化配置
1.1 运行第一个jenkins pipeline
- 在github里创建一个public的项目，并且复制地址
- 在jenkins里创建新的pipeline
- 编写pipeline的scripts
node{
stage('github checkout'){
git branch: 'main', url: 'https://github.com/CXTV/jenkins_dbt.git'
}
}
- 运行Pipeline，成功
5. 验证是否真的成功，根据Pipeline的名称，进入到服务器里的jenkins的文件夹里，查看是否有该项目
cd /var/lib/jenkins/workspace/dbt_airflow
二、编写本地dbt项目
2.1 克隆git上的初始文件到本地
- 克隆到本地
git clone https://github.com/CXTV/jenkins_dbt.git
- 创建并切换一个新的分支
git checkout -b dbtSetup
- 第一次提交分支
git add .
git commit -m 'initialize branch dbtsetup'
git push --set-upstream origin dbtSetup
2.2 本地创建虚拟环境
- 创建
python 3.10的虚拟环境
pipenv --python 3.10
- 运行虚拟环境
pipenv shell
2.3 创建airflow的Dockerfile
指定airflow的运行环境
- Dockerfile
FR原文地址：https://blog.csdn.net/weixin_42067536/article/details/142800843
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！