Spring Boot MSA 모니터링: Spring Boot MSA + Prometheus + Grafana

Spring Boot로 백엔드를 서비스하다 보면 각 서비스들의 상태를 한 눈에 볼 수 있는 시각화된 모니터링 시스템이 필요해진다.

이를 위해 이번 포스트에서는 Spring Boot MSA 프로젝트에 Prometheus를 연동 후, Grafana로 시각화된 모니터링 시스템을 구축하는 방법에 대해 알아보고자 한다.

 

Prometheus란?

Prometheus는 원래 Soundcloud에서 만든 오픈소스 시스템 모니터링 및 알림 툴킷입니다. 2012년 시작 이래, 많은 기업과 조직이 Prometheus를 채택했으며, 이 프로젝트는 매우 활발한 개발자 및 사용자 커뮤니티를 보유하고 있습니다. 현재는 독립형 오픈 소스 프로젝트로서 어떤 회사로부터도 독립적으로 유지 관리되고 있습니다. 이를 강조하고 프로젝트의 거버넌스 구조를 명확히 하기 위해 Prometheus는 2016년에 Kubernetes에 이어 두 번째로 클라우드 네이티브 컴퓨팅 재단에 호스트 프로젝트로 가입했습니다. Prometheus는 레이블이라는 optional key-value쌍들과 함께 기록된 metrics를 시계열 데이터로 수집 및 저장합니다. 원문🔗

그리고 Prometheus를 통해 수집, 저장된 데이터는 PromQL이라는 쿼리 형태로 추출 및 분석할 수 있다.

 

Grafana란?

Grafana OSS를 사용하면 메트릭, 로그 및 추적이 저장된 위치에 관계없이 쿼리, 시각화, 알림 및 탐색할 수 있습니다. Grafana OSS는 시계열 데이터베이스(TSDB) 데이터를 알기 쉬운 그래프와 시각화로 전환할 도구를 제공합니다. 또한 Grafana OSS 플러그인 프레임워크를 사용하면 NoSQL/SQL DB, Jira 또는 ServiceNow와 같은 티켓팅 도구, GitLab과 같은 CI/CD 도구와 같은 다른 데이터 소스를 연결할 수 있습니다. 원문🔗

즉 Prometheus를 통해 추출한 시계열 데이터를 Grafana로 시각화함으로써 내가 현재 서비스하는 Spring Boot 앱들을 한 눈에 모니터링할 수 있다.

 

Spring Boot Applications 준비

Grafana + Prometheus 적용 전 검증

이 포스트에서는 우분투 환경 위에서 최대한 간단한 마이크로서비스 아키텍처 (MSA; Microservices Architecture) 형태로 Spring Boot 앱들을 서비스한다. 우측 이미지의 step09_로 시작하는 앱들이 바로 그것이다.

이 4개의 앱들을 요약하자면:

• step09_SpringCloudClient1: Payment service라 가정. /payment/info에서 해당 서비스의 포트 번호를 알려준다.
• step09_SpringCloudClient2: Order service라 가정. /order/info에서 해당 서비스의 포트 번호를 알려준다.
• step09_SpringCloudGateway: Gateway service. 위 1, 2 애플리케이션들을 80 포트로 묶는 게이트웨이 역할을 수행한다. 실제로 서비스를 구현한다면 Nginx나 Apache를 80번 포트에 물려놓는 것이 좋겠지만 이 포스트에서는 게이트웨이 서비스를 80번 포트에 물려놓기로 한다.
• step09_SpringCloudServer: Eureka server. 위 3개의 서비스들은 전부 @EnableDiscoveryClient 애너테이션을 적용하여 이 Eureka server에 등록되게끔 만들었다.
• 모두 Java 17, Spring Boot 3.2.3, Gradle + Groovy로 구성
• Eureka server 및 client 구성
• application.properties가 아니라 application.yml을 작성
• 개발 환경은 STS4이다.

 

4개의 앱들을 실행가능한 jar 파일로 생성하기 위하여 ./gradlew bootJar를 실행하였다.

 

 

그리고 위와 같이 윈도우에서 4개의 앱들을 구동하여 정상적으로 동작하는지 확인하였다.

 

Spring Boot 앱들에 Prometheus 적용

Spring Boot 앱들에 Spring Boot Actuator를 활성화하여, Actuator가 제공하는 metrics를 Prometheus로 수집하자.

우선 각 앱들의 application.yml에 내용을 추가한다.

Eureka server의 application.yml:

server:
  port: 8761
  address: 127.0.0.1
  tomcat:
    mbeanregistry:
      enabled: true 

management:
  endpoints:
    web:
      exposure:
        include: "*"

eureka:
  instance:
    hostname: 127.0.0.1 # public IP 주소 또는 그냥 localhost 등..
    prefer-ip-address: true  #instance가 client 보다 위에 있게
  client:
    register-with-eureka: false  #서버라서 false
    fetch-registry: false
    service-url:
      default-zone: http://${eureka.instance.hostname}:${server.port}/eureka/ # 추가

특히 중요한 파트는 server아래의 tomcat부터, management 항목 전체이다.

먼저 server아래의 tomcat 항목에 대한 설명은 다음과 같다.

💡 Tomcat MBean 레지스트리 활성화하기:

• MBean은 Java Management Extensions (JMX)를 통해 모니터링하고 관리할 수 있는 Java 객체
• Tomcat의 MBean 레지스트리를 활성화하면, 프로메테우스가 톰캣 내부의 다양한 메트릭을 수집할 수 있고, 이를 통해 톰캣의 성능 및 상태를 효과적으로 모니터링 가능

임베디드 톰캣의 MBean 레지스트리는 기본적으로 비활성화돼 있다. 덕분에 톰캣의 메모리 사용량을 최소화할 수 있다. 톰캣의 MBean을 사용해서 Micrometer 등을 통해 메트릭을 노출하고 싶다면 (...) server.tomcat.mbeanregistry.enabled 프로퍼티를 사용해야 한다. 원문🔗

또한 management 항목은, Spring Boot 앱들의 /actuator/prometheus라는 path를 노출시키기 위함이다. 여기서 endpoint의 include는 해당 항목들을 포함한다, 그리고 exclude는 배제한다는 것이다. *라는 값은 모든 endpoints를 사용하겠다는 의미. 그게 아니라 특정한 endpoint만 노출시키고자 한다면 상황에 맞게 구성할 수도 있다.

그리고 각 앱들의 build.gradle의 dependencies 항목에는 아래와 같이 Prometheus와 Actuator를 추가해야 한다.

dependencies {
	(... 생략 ...)
	runtimeOnly 'io.micrometer:micrometer-registry-prometheus' // 마이크로미터 프로메테우스 구현체
	implementation 'org.springframework.boot:spring-boot-starter-actuator' // 액추에이터
}

 

이렇게 application.yml 및 build.gradle 구성을 나머지 3개의 앱들에도 적용한 뒤, bootJar를 통해 실행가능한 jar 파일을 받는다.

Ubuntu에 Grafana 및 Prometheus 환경 구성

Grafana 및 Prometheus 설치

이 포스트에서는 위 4개의 Spring Boot 앱들이 Ubuntu 환경에서 구동될 것을 전제로 한다. 아래 명령어를 Ubuntu의 셸에서 실행하여 Grafana 및 Prometheus를 설치하여 실행시킬 수 있다.

# 시각화 도구인 Grafana를 설치
sudo apt-get update
sudo apt-get install -y software-properties-common
sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo apt-get update
sudo apt-get install grafana

# Grafana를 시작하고 활성화
sudo systemctl start grafana-server
sudo systemctl enable grafana-server

# 모니터링 도구인 Prometheus를 설치
sudo apt-get install prometheus

# Prometheus를 시작하고 활성화
sudo systemctl start prometheus
sudo systemctl enable prometheus

Prometheus 환경 구성

Prometheus의 /etc/prometheus/prometheus.yml (해당 파일의 끝에다가 붙일 것, targets 항목은 상황에 맞게 조정, 들여쓰기 주의!)

  - job_name: 'probono-server'
    metrics_path: '/actuator/prometheus'
    scrape_interval: 5s
    scrape_timeout: 5s
    static_configs:
      - targets: ['localhost:8761']

이후 아래와 같이 Prometheus 서비스 재시작:

# Prometheus를 재시작
sudo systemctl reload prometheus
sudo systemctl restart prometheus

위에서 application.yml 및 build.gradle를 수정한 4개의 앱들의 jar 파일을 실행하고, Ubuntu의 셸에서 curl http://localhost:8761/actuator/prometheus 실행 시 아래와 같이 뜨면 metrics가 정상적으로 출력되고 있는 것이다.

만약, 404 Not Found 등의 오류가 난다면 Prometheus 적용에 실패한 것이다.

Grafana 환경 구성

초기 구성

http://localhost:3000에 접속하여 Grafana 로그인 화면을 볼 수 있다. 기본 계정은 admin / admin

그리고 최초 로그인 시, 아래 화면과 같이 암호를 설정하라는 문구가 뜬다.

원하는 암호를 설정한 뒤 (또는 좌측하단 skip를 누른 뒤) Submit를 누른다.

Spring Boot 모니터링에 적합한 대시보드 생성

이제 Spring Boot 앱들의 모니터링에 적합한 대시보드를 생성할 수 있다. Grafana 메인 화면의 좌측상단 Dashboards를 클릭한다.

이후 대시보드 화면의 우측상단 Import를 선택한다.

유저가 직접 대시보드를 처음부터 끝까지 만들 수도 있겠지만, 이미 누가 만들어놓은 템플릿을 활용하는 것도 가능하다. 이 포스트에서는 'Spring Boot 2.1 System Monitor'라는 템플릿을 가져다 쓸 것이다. https://grafana.com/grafana/dashboards/11378-justai-system-monitor/

Dashboards | Grafana Labs

이 Spring Boot 2.1 System Monitor의 Copy ID to clipboard를 클릭한다.

다시 localhost의 Grafana 페이지로 돌아와서, 아래와 같이, 해당 템플릿을 import한다.

이때 Datasource로 Premetheus를 추가해야 한다. 아래와 같이, 'Prometheus server URL'이라는 항목에는 http://localhost:9090을 넣는다.

 

Grafana 대시보드 최종 확인

Import한 템플릿을 통해 대시보드를 생성하여 아래와 같은 화면을 볼 수 있다.