Notice: Constant WP_DEBUG already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 12

Notice: Constant WP_DEBUG_LOG already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 13

Notice: Constant WP_DEBUG_DISPLAY already defined in /var/www/html/wordpress/wp-content/plugins/changyan/sohuchangyan.php on line 14
容器编排Kubernetes之kube-dns源码解读【zoues.com】 – zoues

LOADING

Follow me

容器编排Kubernetes之kube-dns源码解读【zoues.com】
五月 23, 2017|DockerPaaS

容器编排Kubernetes之kube-dns源码解读【zoues.com】

容器编排Kubernetes之kube-dns源码解读【zoues.com】

花了几天时间,研究了Kubernetes DNS插件的源代码,对其实现有了个简单的理解。这篇文章我简单梳理下代码流程。

注:阅读DNS源码前,可以阅读DNS原理入门增加对DNS的认识。

架构图

容器编排Kubernetes之kube-dns源码解读

这是我简单画的架构图,希望能帮助大家理解。

代码结构

http://k8s.io

| dns

| cmd // 三大组件的入口

| dnsmasq-nanny // DNS缓存

| kube-dns // dns主项目

| sidecar // 附加组件

| pkg 组件代码库,主要实现代码在该目录下

| dns // kube-dns代码库, 监听service、pod等资源,动态更新DNS记录

| dnsmasq // 内部封装dnsmasq程序用于缓存,并可从dns服务器获取dns监控指标

| sidecar 用于监控和健康检查

主要的代码都集中在上述树形结构中,下面依次讲解。

kube-dns

kube-dns是提供DNS功能的组件,我们重点关注。

首先看main方法:

func main() {    config := options.NewKubeDNSConfig()    config.AddFlags(pflag.CommandLine)     flag.InitFlags()    // Convinces goflags that we have called Parse() to avoid noisy logs.    // OSS Issue: kubernetes/kubernetes#17162.    goflag.CommandLine.Parse([]string{}) // 解析参数    logs.InitLogs()    defer logs.FlushLogs() // 初始化日志     version.PrintAndExitIfRequested()     glog.V(0).Infof("version: %+v", version.VERSION)     // 实例化KubeDNSServer并运行    server := app.NewKubeDNSServerDefault(config)    server.Run() } 

下面我们分析app包里的server.go文件

type KubeDNSServer struct {    // DNS domain name.    domain         string    healthzPort    int    dnsBindAddress string    dnsPort        int    nameServers    string    kd             *dns.KubeDNS } // KubeDNSServer类里前几个变量都是main函数里传递过来的参数直接赋值,没啥可讲的。kd是pkg/dns包里的KubeDNS类的实例,我们后续再讲。 func NewKubeDNSServerDefault(config *options.KubeDNSConfig) *KubeDNSServer {} // 根据参数,填充KubeDNSServer对象 func newKubeClient(dnsConfig *options.KubeDNSConfig) (kubernetes.Interface, error) {} // 根据参数,实例化一个与apiserver通信的client,有两种模式的client可以使用。集群内client(通过serviceAccount认证)以及集群外client(当前Kubernetes集群配置的其他认证方式进行认证) // main函数中的server.Run()调用的函数 func (server *KubeDNSServer) Run() {    pflag.VisitAll(func(flag *pflag.Flag) {       glog.V(0).Infof("FLAG: --%s=%q", flag.Name, flag.Value)    })    setupSignalHandlers() // 监听系统事件,主要作用是等待日志处理完成    server.startSkyDNSServer() // 配置SkyDNS服务并启动服务,此处使用了SkyDNS的相关代码,这篇文章就不赘述了(我没看代码,囧)    server.kd.Start() // 启动KubeDNS,后续再深入    server.setupHandlers() // 添加两个http方法,/readiness用于健康检查,/cache返回当前dns中缓存的dns记录JSON     glog.V(0).Infof("Status HTTP port %v", server.healthzPort)    if server.nameServers != "" {       glog.V(0).Infof("Upstream nameservers: %s", server.nameServers)    }    glog.Fatal(http.ListenAndServe(fmt.Sprintf(":%d", server.healthzPort), nil)) // 监听http服务 } 

app/options包中还有个options.go文件,这里主要包含app需要的配置信息,不再赘述。下面我们跳入pkg/dns包中探一探究竟,首先入场(也是唯一入场)的是pkg/dns/dns.go

type KubeDNS struct {    // 与apiserver通信的client    kubeClient clientset.Interface     // 域名,默认为cluster.local.    domain string    // configMap的名称,默认为空,使用命令行参数    configMap string     // 存储集群中所有的endpoints    endpointsStore kcache.Store    // 存储集群中所有的services    servicesStore kcache.Store    // 存储集群中所有的nodes    nodesStore kcache.Store     // dns缓存    cache treecache.TreeCache    // PTR记录 ip --> skymsg.Service    reverseRecordMap map[string]*skymsg.Service    // 集群服务列表 ip --> v1.Service    clusterIPServiceMap map[string]*v1.Service    // 缓存锁,更新上述三者的数据时,需加锁    cacheLock sync.RWMutex     // 域名路径,是域名反向分割后的列表,比如默认的为[]string{"local", "cluster"}    domainPath []string     // endpointsController 管理endpoints的变更    endpointsController *kcache.Controller    // serviceController 管理services的变更    serviceController *kcache.Controller     // 配置对象    config *config.Config    // 配置更新锁    configLock sync.RWMutex    // 配置更新管理对象    configSync config.Sync     // 初始化同步endpoints和services的过期时间    initialSyncTimeout time.Duration } func NewKubeDNS(client clientset.Interface, clusterDomain string, timeout time.Duration, configSync config.Sync) *KubeDNS {} // 根据参数配置KubeDNS对象,设置endpoint和service相关store和controller。 func (kd *KubeDNS) Start() {} // 启动KudeDNS,其实也就是启动在NewKubeDNS中设置的endpointsController和serviceController,并且监听配置文件的变化 func (kd *KubeDNS) GetCacheAsJSON() (string, error) {} // 获取dns缓存对象JSON,在cmd/app/server.go中被http方法/cache使用 func (kd *KubeDNS) setServicesStore() {} // 在NewKubeDNS中调用。监听service的变化,针对不同的操作(新增,删除,更新)执行不同的callback func (kd *KubeDNS) setEndpointsStore() {} // 在NewKubeDNS中调用。监听endpoint的变化,针对不同的操作(新增,删除,更新)执行不同的callback func (kd *KubeDNS) newService(obj interface{}) {} // 根据service的类型,生成不同类型的dns记录。简单的说,ExternalName类型的service是CNAME,只在dns缓存(KubeDNS.cache)中存储该记录;Headless(无ClusterIp)类型的service不在KubeDNS.clusterIPServiceMap中记录;而其他类型的service则在cache,reverseRecordMap,clusterIPServiceMap中一并存储 func (kd *KubeDNS) removeService(obj interface{}) {} // 删除service,也即删除在cache,reverseRecordMap,clusterIPServiceMap中的相关记录 func (kd *KubeDNS) updateService(oldObj, newObj interface{}) {} // 更新=删除+新增 func (kd *KubeDNS) handleEndpointAdd(obj interface{}) {} // 新增endpoints func (kd *KubeDNS) handleEndpointUpdate(oldObj, newObj interface{}) {} // 更新endpoints,删除新endpoints子网里跟老endpoints子网里一样的PTR记录(KubeDNS.reverseRecordMap),即删除相同ip的endpoint,然后调用handleEndpointAdd新增endpoints func (kd *KubeDNS) handleEndpointDelete(obj interface{}) {} // 删除相关的PTR记录(KubeDNS.reverseRecordMap)即可 func (kd *KubeDNS) addDNSUsingEndpoints(e *v1.Endpoints) error {} // 新增endpoints,如果endpoints对应的service是Headless service,则生成相关记录。如果不是,什么也不做。 func (kd *KubeDNS) getServiceFromEndpoints(e *v1.Endpoints) (*v1.Service, error) {} // 根据endpoints返回service func (kd *KubeDNS) fqdn(service *v1.Service, subpaths ...string) string {} // 生成一个完整网域名称(Fully qualified domain name) func (kd *KubeDNS) newPortalService(service *v1.Service) {} // 生成portalService,我的理解是一般类型的service,同时在cache,reverseRecordMap,clusterIPServiceMap中存储该service的记录 func (kd *KubeDNS) generateRecordsForHeadlessService(e *v1.Endpoints, svc *v1.Service) error {} // 生成headlessService,同时在cache,reverseRecordMap中存储该service的记录 func (kd *KubeDNS) newExternalNameService(service *v1.Service) {} // 生成ExternalNameService,只在cache中记录该条信息 func (kd *KubeDNS) Records(name string, exact bool) (retval []skymsg.Service, err error) {} // 查询DNS记录,参数中的exact标识是否精确匹配。其中federation相关的东西我还不是太明白 func (kd *KubeDNS) ReverseRecord(name string) (*skymsg.Service, error) {} // 查询PTR记录 

Records 和 ReverseRecord 两个方法是实现了skydns的Backend接口,这样的话,KubeDNS就可以作为skydns的后端存储提供dns查询服务了,二者怎么关联起来的呢?回看cmd/kube-dns/app/server.go文件里的startSkyDNSServer方法,你会找到汇合点的,试试看吧。

至此,我们对kubeDNS组件有了初步大概的认识。接下来,我们再接着看dnsmasq组件。

dnsmasq

cmd/dnsmasq-nanny没有什么可以讲的,也就是解析命令行参数然后调用pkg/dnsmasq/nanny.go的RunNanny方法。或者可以这么说,整个dnsmasq就没什么事,就是在其中内嵌了dnsmasql应用程序,通过代码启动并管理该程序的生命进程

// RunNanny runs the nanny and handles configuration updates. func RunNanny(sync config.Sync, opts RunNannyOpts) {    defer glog.Flush()     currentConfig, err := sync.Once()    if err != nil {       glog.Errorf("Error getting initial config, using default: %v", err)       currentConfig = config.NewDefaultConfig()    } // 解析配置     nanny := &Nanny{Exec: opts.DnsmasqExec}    nanny.Configure(opts.DnsmasqArgs, currentConfig)    if err := nanny.Start(); err != nil {       glog.Fatalf("Could not start dnsmasq with initial configuration: %v", err)    } // 启动dnsmasq应用程序     configChan := sync.Periodic()     for {       select {       case status := <-nanny.ExitChannel:          glog.Flush()          glog.Fatalf("dnsmasq exited: %v", status)          break       case currentConfig = <-configChan:          if opts.RestartOnChange {             glog.V(0).Infof("Restarting dnsmasq with new configuration")             nanny.Kill()             nanny = &Nanny{Exec: opts.DnsmasqExec}             nanny.Configure(opts.DnsmasqArgs, currentConfig)             nanny.Start()          } else {             glog.V(2).Infof("Not restarting dnsmasq (--restartDnsmasq=false)")          }          break       }    } // 持续监听退出状态和配置更新 }   func (n *Nanny) Kill() error {} // 杀掉运行中的dnsmasq进程 func (n *Nanny) Start() error {} // 启动dnsmasq进程,并将日志信息输出到glog func (n *Nanny) Configure(args []string, config *config.Config) {} // 解析配置,必须在Start方法前调用 

dnsmasq的另一部分的作用是从dnsmasq应用程序读取监控信息,包括缓存命中数量,缓存未命中数量,缓存删除数量,缓存插入数量,缓存大小等信息。

sidecar

sidecar组件的主要作用是提供kube-dns和dnsmasq的健康检查和dns的监控。我们略过cmd/sidecar/main.go,他的主要作用也无非是解析参数。我们重点关注pkg/sidecar/server.go

func (s *server) Run(options *Options) {    s.options = options    glog.Infof("Starting server (options %+v)", *s.options)     // 之前说sidecar监控kube-dns和dnsmasq,其实是通过参数传递进来的,具体的参数解析可以参考cmd/sidecar/main.go    for _, probeOption := range options.Probes {       probe := &dnsProbe{DNSProbeOption: probeOption}       s.probes = append(s.probes, probe)       probe.Start(options) // 启动组件健康检查    }     s.runMetrics(options) // dns监控信息 }

no comments
Share