AWS ECS로 실행되는 태스크의 CloudWatch 로그를 Filebeat로 Elastic에 수집

ECS의 어떤 서비스의 태스크에 WAS 1개와 Filebeat 1개가 있습니다. Filebeat는 WAS의 CloudWatch 로그들을 수집하여, 전부 Elasticsearch로 보내는 역할을 수행해야 합니다.

 

Task definition 예시:

{
    "family": "myapp-test-backend-task-def",
    "containerDefinitions": [
        {
            "name": "myapp-test-backend",
            "image": "123123123123.dkr.ecr.ap-northeast-2.amazonaws.com/myapp-test/backend:latest",
            "cpu": 0,
            "memory": 1024,
            "portMappings": [
                {
                    "containerPort": 18651,
                    "hostPort": 18651,
                    "protocol": "tcp"
                }
            ],
            "essential": true,
            "environment": [
                {
                    "name": "CORS_ALLOW_ORIGINS",
                    "value": "http://ec2-48-3-153-157.ap-northeast-2.compute.amazonaws.com"
                },
                {
                    "name": "RABBITMQ_URL",
                    "value": "amqp://testuserforrmq:testpasswordforrmq@my-rabbitmq-discovery.my-rmq-namespace-2:5672/"
                }
            ],
            "mountPoints": [],
            "volumesFrom": [],
            "secrets": [
                {
                    "name": "AWS_ACCESS_KEY_ID",
                    "valueFrom": "arn:aws:ssm:ap-northeast-2:123123123123:parameter/S3_READONLY_ACCESS_KEY_ID"
                },
                {
                    "name": "AWS_SECRET_ACCESS_KEY",
                    "valueFrom": "arn:aws:ssm:ap-northeast-2:123123123123:parameter/S3_READONLY_ACCESS_KEY_SECRET"
                }
            ],
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-group": "/ecs/myapp-test-backend-task-def",
                    "awslogs-create-group": "true",
                    "awslogs-region": "ap-northeast-2",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "systemControls": []
        },
        {
            "name": "filebeat",
            "image": "public.ecr.aws/elastic/filebeat:8.18.3",
            "cpu": 0,
            "portMappings": [],
            "essential": false,
            "entryPoint": [
                "/bin/bash",
                "-c"
            ],
            "command": [
                "cat /filebeat-yml/oj-b.yml && filebeat test output -c /filebeat-yml/oj-b.yml && filebeat -e -c /filebeat-yml/oj-b.yml"
            ],
            "environment": [],
            "mountPoints": [
                {
                    "sourceVolume": "filebeat-volume",
                    "containerPath": "/filebeat-yml",
                    "readOnly": false
                }
            ],
            "volumesFrom": [],
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-group": "/ecs/myapp-test-backend-task-def",
                    "awslogs-create-group": "true",
                    "awslogs-region": "ap-northeast-2",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "systemControls": []
        }
    ],
    "taskRoleArn": "arn:aws:iam::123123123123:role/ecsTaskExecutionRole",
    "executionRoleArn": "arn:aws:iam::123123123123:role/ecsTaskExecutionRole",
    "networkMode": "awsvpc",
    "volumes": [
        {
            "name": "filebeat-volume",
            "efsVolumeConfiguration": {
                "fileSystemId": "fs-1231231231231230e14",
                "rootDirectory": "/",
                "transitEncryption": "ENABLED",
                "authorizationConfig": {
                    "accessPointId": "fsap-123123123123123bca",
                    "iam": "ENABLED"
                }
            }
        }
    ],
    "placementConstraints": [],
    "requiresCompatibilities": [
        "FARGATE"
    ],
    "cpu": "1024",
    "memory": "3072",
    "runtimePlatform": {
        "cpuArchitecture": "X86_64",
        "operatingSystemFamily": "LINUX"
    }
}

 

`.yml` 파일을 담은 EFS 경로 구조 예시 (여기서는 `./filebeat-yml/oj-b.yml`이 사용되었습니다):

root@ip-10-0-27-199:/efs-fs-0c3a80# tree .
.
├── etc
│   └── prometheus
│       └── prometheus.yml
└── filebeat-yml
    └── oj-b.yml

3 directories, 2 files

 

EFS의 access point 예시:

 

`./filebeat-yml/oj-b.yml`  파일 예시:

root@ip-10-0-27-199:/efs-fs-0c3a80/filebeat-yml# cat ./oj-b.yml
filebeat.inputs:
- type: aws-cloudwatch
  region_name: ap-northeast-2
  log_group_name: "/ecs/myapp-test-backend-task-def"
  scan_frequency: 30s

processors:
  - add_cloud_metadata: ~
  - add_host_metadata: ~
  - add_fields:
      target: ""
      fields:
        data_stream.type: logs          # 필수
        data_stream.dataset: mya.backend  # 원하는 대로 지정
        data_stream.namespace: prod     # 환경(옵션)
        event.dataset: mya.backend
        source_type: cloudwatch
        service_name: myapp-test-backend

output.elasticsearch:
  hosts: ["http://10.7.245.124:9200"]
  username: "testuserforelastic"
  password: "testpasswordforelastic"

setup.template:
  name: "myapp-test-template"
  pattern: "myapp-test"
  type: data_stream                     # (기본값이지만 명시 추천)
setup.ilm.enabled: false               # 데이터 스트림은 ILM 필요 없음

 

Elastic에서 data stream의 index template를 생성하는 `curl` 예시:

[elasticsearch@b2d0f3b440b5 ~]$ curl -u testuserforelastic:${ELASTIC_PASSWORD} -X PUT "http://localhost:9200/_index_template/myapp-test-template" -H 'Content-Type: application/json' -d '
{
  "index_patterns": [ "myapp-test" ],
  "template": {
    "settings": {
      "index.lifecycle.rollover_alias": "myapp-test"
    },
    "mappings": {
      "dynamic_templates": [
        { "strings": { "match_mapping_type": "string", "mapping": { "type": "keyword" } } }
      ]
    }
  },
  "data_stream": {}
}
'

 

참고: ECS의 tasks를 실행하는 role에 아래와 같은 권한이 확보되어 있어야 합니다. 또한 보안 그룹 (security group) 구성하는 것도 잊지 마세요.

 

이후 Kibana에서 데이터가 수집되는 것을 확인할 수 있습니다.