데이터독 로그 관리 및 비용 절감

Datadog은 강력한 로깅 및 모니터링 플랫폼이지만, 로그 데이터의 양이 늘어남에 따라 비용 부담 또한 증가할 수 있습니다.

 

 

Datadog 로그 비용 구조 이해

Datadog의 로그 관련 비용은 크게 두 가지 핵심 요소로 구성됩니다.

1. 로그 수집 (Log Ingestion) 비용: Datadog으로 전송되는 모든 로그 데이터의 총 볼륨(GB)에 따라 월별로 부과됩니다. 마치 수도 요금처럼, Datadog으로 흘러 들어오는 로그 데이터의 양에 비례하여 비용이 발생합니다.
2. 로그 인덱싱 (Log Indexing) 및 보관 (Retention) 비용: 실제로 검색 및 분석이 가능하도록 Datadog의 인덱스에 저장되는 로그 이벤트의 수(백만 건당)와 보관 기간에 따라 월별로 부과됩니다. 중요한 정보를 검색하고 활용하기 위해 저장하는 것에 대한 비용이라고 생각하시면 됩니다.

데이터독

비용 절감 전략

이제 Datadog 로그 관리 비용을 절감할 수 있는 구체적인 방법들을 살펴보겠습니다.

 

1. 애플리케이션 코드 레벨에서의 로그 최적화 (가장 효과적인 방법)

• 전략: 불필요한 로그 출력을 줄이거나, 로그 레벨을 조정하여 (예: DEBUG 대신 INFO 또는 ERROR 레벨만 기록) Datadog으로 전송되는 로그 데이터의 양 자체를 최소화합니다.
• 비용 절감 효과: 로그 수집 비용과 인덱싱/보관 비용 모두를 획기적으로 절감할 수 있습니다. 로그가 생성되지 않으므로 Datadog으로 전송되는 데이터 볼륨 자체가 줄어들기 때문입니다.
• 장점: 가장 근본적인 비용 절감 방법이며, 네트워크 트래픽 감소 및 Datadog 백엔드 부하 감소 효과도 얻을 수 있습니다.
• 단점: 애플리케이션 코드 수정 및 재배포가 필요하며, 운영 중 실시간 적용이 어렵고, 문제 발생 시 상세 로그 확인이 어려워질 수 있습니다.

2. Datadog 로그 인덱스 관리

• 전략: Datadog 콘솔의 "Log Indexes" 기능을 활용하여 일일 할당량(Daily Quota)을 설정하고, 불필요한 로그 패턴을 제외 필터(Exclusion Filters)에 등록하여 인덱싱되는 로그의 양을 제한합니다.
• 비용 절감 효과: 로그 인덱싱 및 보관 비용을 절감할 수 있습니다. 수집된 로그 중 필요한 로그만 인덱싱하여 저장함으로써 비용을 최적화합니다.
• 장점: 애플리케이션 코드 수정 없이 Datadog 콘솔에서 비교적 쉽게 설정 변경이 가능하며, 운영 중 실시간 적용이 용이합니다. 제외된 로그도 Live Tail에서 확인하거나 메트릭 생성, 아카이빙에는 영향을 미치지 않습니다.
• 단점: 로그 수집 비용은 그대로 발생합니다. 중요한 로그를 실수로 제외하지 않도록 주의해야 합니다.

3. Observability Pipelines 활용

• 전략: Datadog으로 로그가 유입되기 전에 Observability Pipelines를 구성하여 로그 데이터를 전처리합니다. 필터링, 샘플링, 할당량 설정, 중복 제거 등의 프로세서를 통해 Datadog으로 전송 및 인덱싱되는 로그의 양을 정교하게 제어할 수 있습니다.
• 비용 절감 효과: 로그 수집 및 인덱싱/보관 비용 모두를 효과적으로 절감할 수 있습니다. 불필요한 로그는 아예 필터링하여 수집을 막거나, 샘플링을 통해 데이터 볼륨을 줄일 수 있습니다.
• 장점: 매우 강력하고 유연한 로그 관리 기능을 제공하며, 세밀한 규칙 기반으로 비용 최적화가 가능합니다.
• 단점: 초기 설정 및 관리에 대한 학습 곡선이 있을 수 있습니다.

4. Datadog Agent 설정 조정

• 전략: Datadog Agent의 설정 파일 (datadog.yaml 또는 개별 인테그레이션 설정 파일)을 수정하여 특정 로그 파일이나 디렉토리를 수집 대상에서 제외하거나, 로그 수집 관련 설정을 변경합니다.
• 비용 절감 효과: 로그 수집 비용을 절감할 수 있습니다. Agent 레벨에서 불필요한 로그를 수집하지 않도록 설정하여 Datadog으로 전송되는 데이터 양을 줄입니다.
• 장점: 특정 로그 소스에 대한 세밀한 제어가 가능합니다.
• 단점: Agent 설정 변경 후 재시작이 필요할 수 있으며, 콘솔에서 직접 관리하는 것이 아니므로 서버 접근 권한이 필요합니다.

 

실제 비용 예시 비교

다음은 가상의 시나리오를 통해 각 전략의 비용 절감 효과를 비교한 것입니다.

가정: 월간 100GB의 로그 데이터를 Datadog으로 전송하고 있으며, 이 중 1억 개의 로그 이벤트가 15일 동안 인덱싱됩니다.

• 기본 비용:
  • 로그 수집 비용: 100GB * $0.10/GB = $10.00
  • 로그 인덱싱 및 보관 비용 (15일): 100백만 이벤트 * $1.70/백만 이벤트 = $170.00
  • 총 월별 비용: $180.00
• 전략 1 (코드 최적화 - 50% 로그 감소):
  • 로그 수집 비용: 50GB * $0.10/GB = $5.00
  • 로그 인덱싱 및 보관 비용 (15일): 50백만 이벤트 * $1.70/백만 이벤트 = $85.00
  • 총 월별 비용: $90.00 (50% 절감)
• 전략 2 (인덱스 제외 - 50% 로그 제외):
  • 로그 수집 비용: 100GB * $0.10/GB = $10.00 (절감 없음)
  • 로그 인덱싱 및 보관 비용 (15일): 50백만 이벤트 * $1.70/백만 이벤트 = $85.00 (50% 절감)
  • 총 월별 비용: $95.00 (47.2% 절감)

이 예시에서 볼 수 있듯이, 애플리케이션 코드 레벨에서 로그를 최적화하는 것이 Datadog 비용을 가장 효과적으로 절감하는 방법임을 알 수 있습니다. 인덱스 제외 또한 상당한 비용 절감 효과를 가져오지만, 수집 비용은 그대로 유지된다는 점을 고려해야 합니다.

 

결론

Datadog 로그 관리 비용 절감은 단순히 비용을 줄이는 것을 넘어, 중요한 로그 데이터에 집중하고 시스템의 효율성을 높이는 과정입니다. 애플리케이션 코드 최적화를 우선적으로 고려하고, Datadog의 다양한 로그 관리 기능을 활용하여 상황에 맞는 최적의 비용 절감 전략을 수립하시기 바랍니다.