Развертывание XProf Kubernetes для распределенного профилирования

В этом документе описывается, как развернуть XProf в распределенной среде Kubernetes, используя отдельные развертывания для рабочих узлов и агрегатора.

Архитектура агрегатора рабочих процессов XProf для Kubernetes

Предварительные требования

Конфигурация Kubernetes

Приведенные ниже YAML-конфигурации определяют развертывания и сервисы Kubernetes для рабочих узлов XProf и агрегатора.

В конфигурации агрегатора используется одна реплика, которая принимает запросы пользователей и распределяет задачи профилирования между рабочими репликами, используя политику циклического распределения. Флаг --worker_service_address настраивает агрегатор на отправку запросов в службу рабочих реплик.

В развертывании рабочих процессов запускается несколько реплик, каждая из которых открывает порт gRPC с помощью флага --grpc_port для прослушивания задач обработки от агрегатора.

Агрегатор

Для начала создадим файл agg.yaml и вставим в него его содержимое:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: xprof-aggregator-deployment
  labels:
    app: xprof-aggregator-app
spec:
  replicas: 1
  selector:
    matchLabels:
      app: xprof-aggregator-app
  template:
    metadata:
      labels:
        app: xprof-aggregator-app
    spec:
      containers:
      - name: aggregator-container
        image: xprof:2.21.3
        imagePullPolicy: Never
        env:
        - name: GRPC_LB_POLICY
          value: "round_robin"
        - name: GRPC_DNS_RESOLVER
          value: "native"
        args:
          - "--port=10000"
          - "--worker_service_address=dns:///xprof-worker-service.default.svc.cluster.local:8891"
          - "-gp=50051"
          - "--hide_capture_profile_button"
        ports:
        - containerPort: 10000

---
apiVersion: v1
kind: Service
metadata:
  name: xprof-agg-service
  labels:
    app: xprof-aggregator-app
spec:
  selector:
    app: xprof-aggregator-app
  type: NodePort
  ports:
  - protocol: TCP
    port: 80
    targetPort: 10000
    nodePort: 30001

Рабочий

Для каждого работника мы создаём файл worker.yaml :

apiVersion: apps/v1
kind: Deployment
metadata:
  name: xprof-worker-deployment
  labels:
    app: xprof-worker-app
spec:
  replicas: 4
  selector:
    matchLabels:
      app: xprof-worker-app
  template:
    metadata:
      labels:
        app: xprof-worker-app
    spec:
      containers:
      - name: worker-container
        image: xprof:2.21.3
        imagePullPolicy: Never
        args:
          - "--port=9999"
          - "-gp=8891"
          - "--hide_capture_profile_button"
        ports:
        - containerPort: 8891

---
apiVersion: v1
kind: Service
metadata:
  name: xprof-worker-service
  labels:
    app: xprof-worker-app
spec:
  selector:
    app: xprof-worker-app
  clusterIP: None
  ports:
  - protocol: TCP
    port: 80
    targetPort: 8891

Настройка Minikube

Для развертывания нашей системы выполните следующую команду:

kubectl apply -f worker.yaml
kubectl apply -f agg.yaml

Вы должны иметь возможность проверять развернутые объекты:

kubectl get services

NAME                   TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
kubernetes             ClusterIP   10.96.0.1      <none>        443/TCP          13h
xprof-agg-service      NodePort    10.96.13.172   <none>        8080:30001/TCP   13h
xprof-worker-service   ClusterIP   None           <none>        80/TCP           13h

Теперь давайте подключимся к нашему агрегатору:

minikube service xprof-agg-service --url

http://127.0.0.1:50609
❗  Because you are using a Docker driver on darwin, the terminal needs to be open to run it.

Теперь вы можете получить к нему доступ в своем браузере:

Целевая страница агрегатора XProf