동구멍폴로 IT 동구멍폴로 IT

Gen AI 서비스가 클라우드 환경에서 운영되면서, CSP에서 는 기존 모니터링 범위에 더해 추가적으로 몇 가지 영역을 더 집중적으로 관리해야 합니다. 특히 Gen AI 특성상 처리되는 데이터량과 보안 요구 사항이 커짐에 따라 다음과 같은 요소들을 더 모니터링해야 합니다:1. 리소스 소비 및 스케일링Gen AI 모델은 대규모 데이터 처리와 학습을 위해 엄청난 컴퓨팅 자원(CPU, GPU, 메모리)을 소모합니다. CSP는 이러한 자원이 과도하게 사용되지 않도록 실시간 모니터링하고, 필요할 경우 자원을 자동으로 확장(오토스케일링)할 수 있어야 합니다.모니터링 요소: CPU/GPU 사용량, 메모리 소비, 네트워크 대역폭, 스토리지 활용도2. AI 모델 성능 및 응답 시간AI 서비스는 실시간 처리 능력이 중요하..

PITR(Point-in-Time Recovery)은 클라우드 환경에서 중요한 데이터 보호 및 복구 기능 중 하나로, 특정 시점의 데이터 상태를 복구할 수 있도록 지원하는 기술입니다. 주로 데이터베이스 관리 시스템(DBMS)이나 스토리지 솔루션에서 사용되며, 클라우드 서비스 제공자(CSP)들이 제공하는 서비스 중 하나입니다.클라우드 환경에서의 PITRPITR은 특정 시점에 발생한 데이터 손실, 손상, 또는 오류를 복구하기 위해 사용됩니다. 사용자가 특정 시점을 지정하면 그 시점의 데이터 상태로 복원할 수 있습니다. 이는 주로 비즈니스 운영 중에 발생할 수 있는 다양한 실수나 문제를 빠르게 해결하는 데 유용합니다.주요 클라우드 서비스 제공자의 PITR 서비스AWS (Amazon Web Services): ..

웹사이트를 운영하다 보면 다양한 이유로 사용자에게 에러 페이지를 보여줘야 하는 상황이 발생할 수 있습니다.AWS Application Load Balancer(ALB)를 사용하면 특정 에러 코드에 대한 사용자 정의 에러 페이지를 쉽게 설정할 수 있습니다. (별도의 자원 구성이 불필요하며, HTML 코드를 직접 입력하여 처리 가능함.)준비AWS 계정Application Load Balancer (ALB) 설정1. ALB 생성 또는 기존 ALB 선택먼저 AWS Management Console에 로그인합니다. 그런 다음 EC2 서비스로 이동하여 "로드 밸런서"를 선택합니다. 이미 ALB가 설정되어 있다면 이를 선택하고, 그렇지 않다면 새로운 ALB를 생성합니다.2. 리스너 설정 편집ALB의 리스너(liste..

현대의 IT 환경에서 시스템 모니터링과 성능 분석은 필수적입니다. 다양한 도구가 존재하지만, 그중에서도 Signoz와 Grafana는 특히 주목할 만한 두 가지입니다. 이 블로그에서는 이 두 도구를 비교하고, 각각의 장점과 사용 사례를 살펴봅니다.Signoz: 분산 시스템 성능 모니터링의 최전선Signoz는 분산 시스템의 성능 모니터링과 디버깅에 중점을 둔 종합적인 관찰 도구입니다. OpenTelemetry를 기반으로 메트릭, 로그, 트레이스를 수집하여 시스템의 상태를 시각화하고 분석할 수 있게 해줍니다.주요 기능:메트릭 수집: CPU 사용량, 메모리 사용량, 네트워크 트래픽 등 시스템 메트릭을 효과적으로 수집합니다.로그 관리: 중앙에서 로그를 수집하고 분석하여 문제를 신속히 파악할 수 있습니다.분산 트..

Amazon EC2 인스턴스를 사용하면서 주기적으로 실행해야 할 작업을 자동화하기 위해 crontab을 사용하는 경우가 많습니다. 기본적으로 ec2-user는 이미 crontab을 사용할 수 있는 권한이 있지만, 만약 권한 문제가 발생한다면 이를 해결하는 방법을 아래와 같이 작성합니다. 1. crontab 설치 확인먼저, 시스템에 crontab이 설치되어 있는지 확인해야 합니다. Amazon Linux를 사용하고 있다면 다음 명령어를 통해 cronie 패키지를 설치할 수 있습니다.sudo yum install cronie -y2. crond 서비스 시작 및 활성화crond 서비스가 실행 중인지 확인하고, 실행 중이 아니라면 서비스를 시작하고 부팅 시 자동으로 시작되도록 설정해야 합니다.sudo syste..

AWS IMDS: v1 vs. v2AWS IMDS(Instance Metadata Service)는 AWS EC2 인스턴스에서 실행되며, 인스턴스 자체에 관한 중요한 정보를 제공하는 서비스입니다. 이 서비스는 특정 IP 주소(169.254.169.254)를 통해 접근할 수 있으며, 인스턴스의 IAM 역할, 네트워크 설정, 보안 그룹 등의 정보를 동적으로 조회할 수 있습니다.IMDS v1IMDS v1에서는 인스턴스 메타데이터에 접근할 때 보안 문제가 발생할 수 있는 위험이 있었습니다. 특히, 인스턴스 내부에서 실행 중인 애플리케이션이나 악성 공격자가 인스턴스 메타데이터에 직접 접근할 수 있었습니다. 이는 보안 취약점을 악용할 가능성을 내포하고 있었습니다.IMDS v2IMDS v2는 이러한 보안적인 문제를 ..

Http 응답코드에 대해서는 기존 글로 정리했던 사항이 있다. (https://ls-altr.tistory.com/35) 이는 WEB서버 혹은 WAS 서버 관리시 자주 활용되는 사항인데, Cloud에서는 다른 조치 사항들이 있어 이를 정리하고자 한다. 오류 코드 / 메시지 원인 해결방안 400 Bad request - 클라이언트가 HTTP사양을 충족하지 않는 잘못된 형식의 요청을 전송 - 요청 헤더가 요청 Line당 16K, 단일 헤더당 16K 또는 전체 요청 헤더에서 64K를 초과 - 클라이언트가 전체 요청 본문을 보내기 전에 연결 종료 - request 확인 후 조치 - 헤더 사이즈 확인 - Timeout 확인 401 Unauthorized - 인증되지 않은 사용자를 거부하도록 OnUnauthenti..

SSM 을 통해 EC2를 접속하여 사용하는 경우가 많은데, EC2 자체가 busy 하거나, resource 부족 등으로 SSM agent 를 통한 접속이 실패하는 경우가 있다. 온프레미스 서버라면 직접 서버에 연결해 붙어볼 수 있겠지만, 클라우드 특성상 그런 것은 불가능하다. 이때 활용할 수 있는 것이 Fleet Manager 이다. 접속이 안되는 EC2 를 선택하고, Actions - Monitotring and troubleshoot - EC2 Serial Console(Fleet Manager) 클릭하여 실행하며, 이를 통해 접속이 가능하다. (*사전에 EC2 대시보드 우측에서 EC2 Serial Console 권한을 풀어줘야 함.)