自学内容网 自学内容网

Kubernetes Ingress暴露应用的工作流程


一、Igress是什么

一般负载均衡器分为:
四层(传输层):基于ip和端口进行转发,例如lvs、nginx、haproxy
七层(应用层):基于应用层协议进行转发的,例如http,可以根据域名、url等转发,例如nginx、haproxy

Service NodePort存在的不足:

  • 一个端口只能由一个服务使用,端口需要提前规划
  • 只支持4层负载均衡(ip:port)

ingress可以实现集群中全局的负载均衡(只需一个到两个端口来实现分别为 80,443)为集群提供一个统一的访问入口,也可以基于url、域名实现七层的负载均衡技术来进行给应用分流 进而转发到不同的services上;

  • ingress:k8s中的一个抽象资源,给管理员提供一个暴露应用的入口定义方法
  • ingress Controller:根据Ingress生成具体的路由规则,并对pod进行负载均衡

Ps:Ingress Controller是基于域名进行分流的
在这里插入图片描述

二、安装Igress Controller

Ingress controller默认在k8s中是没有部署的;
Ingress controller有很多实现,我们这里采用官方维护的基于Nginx实现的控制器

项目地址:https://github.com/kubernetes/ingress-nginx
文档:https://kubernetes.github.io/ingress-nginx/deploy/
其他控制器(里面有k8s所支持的控制器的集合):https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/

项目地址里会有各个ingress版本所支持的k8s版本及nginx的版本
在部署ingress的时候需要看下与自己k8s版本的兼容情况,以避免部署不起来
在这里插入图片描述
然后在项目地址里点击"Getting Started "或者直接点击上面的文档地址来进行选择部署ingress controller,这里我们选择自建k8s集群的方式来部署
在这里插入图片描述
1.下载ingress的yml文件

[root@k8s-master ~]# wget -c https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.3.0/deploy/static/provider/baremetal/deploy.yaml
#下载其它版本的话直接修改中间的版本号就行
[root@k8s-master1 ~]# mv deploy.yaml ingress-controller.yaml

2.修改ingress配置
(1)需要将镜像地址(registry.k8s.io)修改为国内的(lank8s.cn)否则会下不了镜像

[root@k8s-master ~]# grep -r "image:" deploy.yaml 
        image: registry.k8s.io/ingress-nginx/controller:v1.3.0@sha256:d1707ca76d3b044ab8a28277a2466a02100ee9f58a86af1535a3edf9323ea1b5
        image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660
        image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660
[root@k8s-master ~]# mv deploy.yaml ingress-controller.yaml
[root@k8s-master ~]# grep -r "image:" ingress-controller.yaml 
        image: registry.k8s.io/ingress-nginx/controller:v1.3.0@sha256:d1707ca76d3b044ab8a28277a2466a02100ee9f58a86af1535a3edf9323ea1b5
        image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660
        image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660
[root@k8s-master ~]# sed -i 's/registry.k8s.io/lank8s.cn/g' ingress-controller.yaml 
[root@k8s-master ~]# grep -r "image:" ingress-controller.yaml 
        image: lank8s.cn/ingress-nginx/controller:v1.3.0@sha256:d1707ca76d3b044ab8a28277a2466a02100ee9f58a86af1535a3edf9323ea1b5
        image: lank8s.cn/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660
        image: lank8s.cn/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660

修改完镜像地址后,需要选择下面一种暴露ingress controller方式来进行部署(正常情况下HostNetwork模式居多);

三、Service NodePort模式暴露Ingress Controller

  • Service NodePort暴露Ingress Controller
    ingress controller是以k8s pod的方式进行部署的,我们可以使用service nodeport的方式来随机生成或指定暴露端口来将请求转发到ingress controller上,ingress controller就会根据我们创建的ingress规则来转发至相应的pod上;
    在这里插入图片描述

当我们下载好ingress的配置文件后,它默认使用的就是NodePort类型来暴露自己pod的80和443端口,也就是一个service暴露多个端口
在这里插入图片描述

ingress controller使用的是Depolyment进行部署的,默认的副本数为1
在这里插入图片描述

其实使用NodePort方式进行部署ingress是不需要对配置文件进行改动的,直接下载下来apply部署一下就可以

[root@k8s-master ~]# kubectl apply -f ingress-controller.yaml 
#默认会将ingress controller给我部署到"ingress-nginx"这个命名空间下
namespace/ingress-nginx created
serviceaccount/ingress-nginx created
serviceaccount/ingress-nginx-admission created
role.rbac.authorization.k8s.io/ingress-nginx created
role.rbac.authorization.k8s.io/ingress-nginx-admission created
clusterrole.rbac.authorization.k8s.io/ingress-nginx created
clusterrole.rbac.authorization.k8s.io/ingress-nginx-admission created
rolebinding.rbac.authorization.k8s.io/ingress-nginx created
rolebinding.rbac.authorization.k8s.io/ingress-nginx-admission created
clusterrolebinding.rbac.authorization.k8s.io/ingress-nginx created
clusterrolebinding.rbac.authorization.k8s.io/ingress-nginx-admission created
configmap/ingress-nginx-controller created
service/ingress-nginx-controller created
service/ingress-nginx-controller-admission created
deployment.apps/ingress-nginx-controller created
job.batch/ingress-nginx-admission-create created
job.batch/ingress-nginx-admission-patch created
ingressclass.networking.k8s.io/nginx created
validatingwebhookconfiguration.admissionregistration.k8s.io/ingress-nginx-admission created

[root@k8s-master ~]# kubectl get pod -n ingress-nginx 
NAME                                       READY   STATUS      RESTARTS   AGE
ingress-nginx-admission-create-9qfbs       0/1     Completed   0          2d18h
ingress-nginx-admission-patch-w2252        0/1     Completed   2          2d18h
ingress-nginx-controller-dc9c4bf8f-9nl2t   1/1     Running     0          2d18h

当ingress启动之后,我们可以查看下它暴露的端口

[root@k8s-master ~]# kubectl get pod,svc  -n ingress-nginx 
NAME                                           READY   STATUS      RESTARTS   AGE
pod/ingress-nginx-admission-create-9qfbs       0/1     Completed   0          2d18h
pod/ingress-nginx-admission-patch-w2252        0/1     Completed   2          2d18h
pod/ingress-nginx-controller-dc9c4bf8f-9nl2t   1/1     Running     0          2d18h

NAME                                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
service/ingress-nginx-controller             NodePort    10.96.212.26     <none>        80:32337/TCP,443:31950/TCP   2d18h
service/ingress-nginx-controller-admission   ClusterIP   10.110.231.235   <none>        443/TCP                      2d18h

可以看到ingress暴露的端口为32337和31950,分别对应着它容器内部的80和443端口;当请求到ingress-controller上时 会把请求转发到相应的pod上

四、创建ingress 进行访问

官方创建ingress配置示例:https://kubernetes.io/docs/concepts/services-networking/ingress/
在这里插入图片描述

或者通过命令来进行创建示例
例:

[root@k8s-master ~]# kubectl create ingress --help 
Usage:
  kubectl create ingress NAME --rule=host/path=service:port[,tls[=secret]]
[options]
[root@k8s-master ~]# kubectl create ingress web1 --rule=host/path=web:80 --dry-run=client -o yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  creationTimestamp: null
  name: web1
spec:
  rules:
  - host: host
    http:
      paths:
      - backend:
          service:
            name: web
            port:
              number: 80
        path: /path
        pathType: Exact
status:
  loadBalancer: {}

1.这里使用官方示例来进行创建ingress

[root@k8s-master ~]# vim web-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: web
spec:
  #指定ingress控制器类型为nginx,不同的控制器表示不一样,可以查看官方文档进行查阅
  ingressClassName: nginx
  rules:
  #指定请求的域名
  - host: web.study.com
    http:
      paths:
      #指定请求的路径
      - path: /
        pathType: Prefix
        backend:
          #指定要暴露的应用(Pod)的service,所以使用ingress之前是一定要先创建service的,它是基于service来发现这一组要被请求的pod的
          service:
            name: web
            #指定要暴露的service的内部port端口
            port:
              number: 80
              
[root@k8s-master ~]# kubectl apply -f web-ingress.yaml 
ingress.networking.k8s.io/web created

2.使用apply来创建ingress并进行访问
创建ingress后,ingress controller会基于nginx来自动生成ingress转发规则

[root@k8s-master ~]# kubectl get ingress
NAME   CLASS   HOSTS                 ADDRESS   PORTS   AGE
web   nginx   web.study.com             80      13s

测试访问:
因为我们使用的是NodePort的方式部署的ingress controller,使用当我们要去访问ingress的时候,也需要使用Service NodeProt的方式去访问
ingress controller暴露的端口为80:32337/TCP,443:31950/TCP

又因为我们上面创建ingress 的时候绑定了域名,应该使用域 名:nodeport(80:32337/TCP,443:31950/TCP)进行去访问
例如:
web.study.com:32337
在这里插入图片描述
注:如果这里配置的域名可以直接解析到(公网IP)的话,直接访问就行了,如果是个人学习环境 解析不到的话,就需要在本地电脑绑定hosts记录对应着ingress里面配置的域名
例: < NodeIP > web.study.com


查看ingress controller生成的规则(两种类型通用)

因为这里使用的是nginx类型的ingress控制器(ingress-nginx),所以我们可以进入到这个ingress控制器里查看生成的nginx配置(ingress规则)

[root@k8s-master ~]# kubectl get pod -n ingress-nginx 
NAME                                       READY   STATUS      RESTARTS   AGE
ingress-nginx-admission-create-9qfbs       0/1     Completed   0          3d17h
ingress-nginx-admission-patch-w2252        0/1     Completed   2          3d17h
ingress-nginx-controller-dc9c4bf8f-9nl2t   1/1     Running     0          3d17h

[root@k8s-master ~]# kubectl exec -it pod/ingress-nginx-controller-dc9c4bf8f-9nl2t -n ingress-nginx /bin/bash 
bash-5.1$ vi /etc/nginx/nginx.conf

可以看到如下ingress controller会帮我们自动生成一个nginx的虚拟主机server的配置,也就是在这里会基于这个域名来进行分流

        ## start server web.study.com                                        
        server {                                                             
                server_name web.study.com ;

                listen 80  ;
                ...
        ## end server web.study.com 

五、HostNetwork模式暴露Ingress Controller

Service NodePort 模式暴露Ingress的痛点:
由于NodePort模式进行访问时需要域名加端口(web.study.com:32337)来进行访问,先是经过Service NodePort转发到ingress controller上,再由ingress controller转发到pod上;而且一个请求流的过程 太过繁琐,使用共享宿主机网络模式整体流程会更加清晰

  • 共享宿主机网络(hostNetwork:True)
    指定ingress controller这个pod保持跟宿主机的网络保持一致,用同一个网络命名空间,这样我们访问node节点就是相当于请求到了ingress controller里,再根据我们设置的ingress规则,来转发至相应的pod上;
    在这里插入图片描述

1.共享宿主机模式部署ingress controller

apiVersion: apps/v1
kind: Deployment
...
    spec:      
      #共享宿主机的网络协议栈(不给ingress controller分配独立的网路命名空间,与宿主机网络命名空间共享)
      hostNetwork: True
      #将Pod调度到指定的Node上,不经过调度器
      #nodeName: k8s-master
      #根据标签控制pod在哪个node节点上,受scheduler调度器控制(例如有污点便不能调度)
      #例如将pod调度到含有[test-label-ingress-controller: "true"]标签的节点上
      #nodeSelector: 
      #  test-label-ingress-controller: "true" 
      containers:
      - args:
        - /nginx-ingress-controller
        ...

在这里插入图片描述

修改完后apply重新应用ingress controller控制器

[root@k8s-master ~]# kubectl apply -f ingress-controller.yaml 
[root@k8s-master ~]# kubectl get pod -n ingress-nginx -o wide 
NAME                                        READY   STATUS      RESTARTS   AGE     IP               NODE         NOMINATED NODE   READINESS GATES
ingress-nginx-admission-create-9qfbs        0/1     Completed   0          7d17h   10.244.36.65     k8s-node1    <none>           <none>
ingress-nginx-admission-patch-w2252         0/1     Completed   2          7d17h   10.244.107.193   k8s-node3    <none>           <none>
ingress-nginx-controller-55b4c7fdcf-68stc   1/1     Running     0          7m24s   192.168.1.1      k8s-master   <none>           <none>
#此时已经不会再给ingress controller这个Pod分配IP了,而是直接使用了k8s-master这个宿主机的IP进行监听,也就是除了网络没有和宿主机进行隔离,其他都是隔离的;

可以看到ingress controller被分配到了master上(也可以根据调度指定节点),然后我们将hosts解析改成分配到的pod,再直接使用域名访问
在这里插入图片描述
注:如果这里配置的域名可以直接解析到(公网IP)的话,直接访问就行了,如果是个人学习环境 解析不到的话,就需要在本地电脑绑定hosts记录对应着ingress里面配置的域名

需要注意的是,我们只能访问将域名解析改为ingress controller所在的节点上,因为在使用host方式的时候,ingress controller只会监听它所在的节点的端口,其他节点没有ingress controller,就不会监听

#查看k8s-master节点上ingress controller监听的80端口
[root@k8s-master ~]# ss -unptl | grep 80 
tcp    LISTEN     0      128       *:80                    *:*                   users:(("nginx",pid=41316,fd=10),("nginx",pid=41311,fd=10))
tcp    LISTEN     0      128    192.168.1.1:2380                  *:*                   users:(("etcd",pid=2912,fd=3))
tcp    LISTEN     0      128    [::]:80                 [::]:*                   users:(("nginx",pid=41316,fd=11),("nginx",pid=41311,fd=11))

#查看k8s-node1节点是否有监听
[root@k8s-node1 ~]# ss -unptl | grep 80 

拓展:只要我们访问的节点上有ingress controller这个pod,就可以访问我们后端的pod,所以,我们可以指定ingress controller的 副本 以及根据相应的 调度策略 来实现多个指定的节点上跑ingress controller的pod来实现host方式的 ingress controller 高可用;




总结:

Service NodePort访问的ingress controller流程:

域名 web.study.com:32337 --> service nodeprot(80:32337/TCP,443:31950/TCP)(iptables/ipvs) --> ingress  controller(nginx 基于域名来进行分流) --> 分布在各个节点的pod

#当用户根据域名:端口请求时,先是Service NodePort(主要作用是将ingress controller暴露出去)会将请求转发至ingress controller,然后ingress controller 会基于域名来帮我们转发到后端service(在这里service提供的只是服务发现的机制,并不提供转发的路径)关联的pod上;
前者(Service NodePort)根据iptables/ipset来实现转发,后者(ingress controller)基于nginx来实现;


hostNetwork方式的ingress-nginx整体的工作流程是:

域名 web.study.com:80 --> 宿主机80端口 是ingress controller监听的 --> ingress controller(nginx 基于域名来进行分流) --> 分布在各个节点的pod

#当用户直接请求域名时,此时的请求也就是"域名:80",只要域名解析正确(可以解析到ingress controller所在的宿主机),这个请求就会直接到ingress controller上,然后ingress controller会基于域名来帮我们转发到后端service关联的pod上;


原文地址:https://blog.csdn.net/qq_44930876/article/details/134991339

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!