HashiCorp의 Vault (+raft)

HashiCorp Vault는 시크릿 관리 시스템(secret management system)으로, 주로 애플리케이션, 시스템, 서비스에서 사용하는 민감한 정보(예: API 키, 비밀번호, 인증 토큰 등)를 안전하게 저장하고 관리하는 데 사용됩니다. 또한, Vault는 암호화, 인증, 액세스 제어 등의 기능을 제공하여, 민감한 정보를 보호하고 이를 관리하는 복잡한 작업을 간소화합니다.

주요 기능과 특징

1. 시크릿 관리 (Secret Management):
   • Vault는 데이터를 안전하게 저장하고 필요한 서비스나 애플리케이션에만 접근을 허용합니다. 이를 통해 민감한 정보를 안전하게 저장하고 조회할 수 있습니다.
   • 예를 들어, 비밀번호, API 키, 데이터베이스 자격 증명 등을 저장하고 필요할 때만 안전하게 사용할 수 있습니다.
2. 자동화된 비밀 정보 생성 (Dynamic Secrets):
   • Vault는 동적으로 비밀 정보를 생성할 수 있습니다. 예를 들어, Vault는 데이터베이스에 대한 자격 증명을 요청할 때마다 새로운 자격 증명을 생성할 수 있으며, 해당 자격 증명은 유효 기간이 지나면 자동으로 만료됩니다. 이를 통해 재사용되지 않도록 안전하게 자격 증명을 관리할 수 있습니다.
3. 암호화 서비스 (Encryption-as-a-Service):
   • Vault는 데이터를 암호화하는 기능을 제공합니다. 이를 통해 애플리케이션에서 중요한 데이터를 암호화하고 복호화하는 작업을 쉽게 처리할 수 있습니다. 또한, 데이터 암호화 키를 관리하고, 애플리케이션에서 필요할 때만 데이터를 암호화하거나 복호화할 수 있게 도와줍니다.
4. 인증 및 권한 관리 (Authentication & Access Control):
   • Vault는 다양한 인증 방법을 지원합니다. 예를 들어, AWS IAM, Kubernetes 인증, LDAP, OIDC 등을 사용하여 사용자를 인증하고, 정확한 권한만 부여합니다.
   • Vault는 세밀한 액세스 제어를 통해 어떤 사용자가 어떤 비밀 정보에 접근할 수 있는지 정의할 수 있습니다. 이로써 민감한 데이터에 대한 액세스를 안전하게 관리할 수 있습니다.
5. 클러스터링과 고가용성 (Clustering & High Availability):
   • Vault는 고가용성(HA) 구성을 지원하여 여러 서버에서 동시에 실행되도록 할 수 있습니다. 이를 통해 하나의 서버가 실패하더라도 다른 서버가 대체할 수 있도록 하고, 클러스터링을 통해 장애를 최소화할 수 있습니다.
   • Vault는 Raft 또는 Consul을 사용하여 클러스터 상태를 관리하고 데이터를 복제합니다.
6. 정책 기반 액세스 제어 (Policy-Based Access Control):
   • Vault는 정책 기반의 액세스 제어를 제공합니다. 이를 통해 사용자가 어떤 비밀에 접근할 수 있는지, 또는 어떤 작업을 수행할 수 있는지를 명확하게 정의할 수 있습니다. 이를 통해 안전한 환경에서 비밀 정보를 관리할 수 있습니다.

Vault의 주요 사용 사례

1. 비밀번호 관리: 다양한 시스템이나 애플리케이션에서 사용하는 데이터베이스 비밀번호나 API 키 등을 안전하게 저장하고 관리합니다. Vault는 이 비밀번호들을 중앙에서 관리하여 여러 서비스에서 안전하게 접근할 수 있게 도와줍니다.
2. 애플리케이션 시크릿 관리: 클라우드 환경에서 실행되는 애플리케이션들이 자주 사용하는 API 키, 자격 증명을 안전하게 저장하고, 필요한 시점에만 접근할 수 있게 합니다. 예를 들어, 애플리케이션이 동적으로 데이터베이스 자격 증명을 요청하고, Vault가 이를 생성하여 반환할 수 있습니다.
3. 암호화 서비스: Vault는 데이터 암호화를 관리하는 서비스로 사용될 수 있습니다. 예를 들어, 애플리케이션이 암호화된 데이터를 Vault를 통해 저장하거나 복호화할 수 있습니다. 이를 통해 중요한 정보를 저장하는 방식에서 보안성을 높일 수 있습니다.
4. 클라우드와의 통합: Vault는 다양한 클라우드 제공자(AWS, GCP, Azure)와 통합되어 동적으로 비밀 정보를 생성하고, 클라우드 리소스의 보안 정보를 안전하게 관리합니다. 이를 통해 비밀 정보의 노출을 최소화할 수 있습니다.
5. DevOps 환경에서의 비밀 관리: Vault는 DevOps 환경에서 애플리케이션의 CI/CD 파이프라인을 통해 사용하는 비밀 정보, 인증 토큰, 그리고 API 키를 안전하게 관리합니다. 이를 통해 자동화된 배포와 보안을 동시에 실현할 수 있습니다.

Vault의 아키텍처

Vault의 아키텍처는 주로 다음과 같은 주요 컴포넌트로 구성됩니다:

1. Vault 서버:
   • Vault 서버는 모든 시크릿을 저장하고, 암호화 작업을 처리하며, 클라이언트와의 연결을 관리하는 중심적인 역할을 합니다.
   • Raft 클러스터나 Consul을 사용하여 Vault 서버 간에 데이터를 동기화하고 복제합니다.
2. Storage Backend:
   • Vault는 시크릿을 저장할 백엔드로 Consul이나 Raft와 같은 분산 데이터 저장소를 사용할 수 있습니다. 이 백엔드는 Vault의 상태 및 데이터를 안전하게 관리합니다.
3. Authentication Methods:
   • Vault는 다양한 인증 방법을 제공합니다. 이를 통해 클라이언트나 애플리케이션이 인증을 거쳐 Vault에 접근할 수 있도록 합니다.
   • 인증 방법에는 AWS IAM, LDAP, Kubernetes 인증, OIDC 등이 포함됩니다.
4. Policies:
   • Vault는 정책을 통해 사용자와 애플리케이션의 액세스 권한을 관리합니다. 정책을 통해 사용자는 Vault 내의 어떤 데이터에 접근할 수 있는지 정의합니다.

결론

Vault는 민감한 데이터를 안전하게 저장하고 관리하는 강력한 도구입니다. 특히 클라우드 환경, DevOps, CI/CD 파이프라인에서 보안, 자동화 및 유연성을 제공하여 중요한 정보를 안전하게 관리할 수 있도록 해줍니다. 다양한 인증 방법과 동적 비밀 생성, 고가용성 클러스터링, 세밀한 액세스 제어 기능을 제공하여 데이터 보호와 비밀 정보 관리를 간소화합니다.

HashiCorp의 Vault에서의 Raft는 Vault의 고가용성(HA) 클러스터링을 위한 분산 합의(Consensus) 알고리즘입니다. Raft는 Vault의 내부 데이터베이스를 관리하는 데 사용되며, Vault의 상태 저장과 복제를 처리합니다. 이 시스템은 Vault를 여러 서버로 확장할 수 있게 해 주고, 고가용성 및 데이터 안정성을 보장하는 역할을 합니다.

1. Raft란 무엇인가?

Raft는 분산 시스템에서 합의(Consensus) 를 이끌어내는 알고리즘 중 하나로, 일관성 있는 분산 시스템을 구축하기 위한 알고리즘입니다. 이 알고리즘은 여러 서버 간에 상태를 일관되게 유지하면서 분산 시스템에서 데이터를 공유할 수 있도록 해줍니다. Raft는 Paxos와 같은 다른 합의 알고리즘보다 구현이 직관적이고 이해하기 쉬운 것으로 알려져 있습니다.

Vault에서 Raft는 데이터를 여러 Vault 인스턴스 간에 복제하고, 하나의 Vault 인스턴스가 장애가 나더라도 다른 인스턴스가 데이터를 일관되게 관리하고 계속 사용할 수 있도록 합니다. 이를 통해 고가용성을 제공합니다.

2. Vault의 Raft 활용

Vault는 기본적으로 단일 인스턴스에서 실행될 수 있지만, 고가용성 클러스터 구성을 통해 여러 Vault 노드를 운영할 수 있습니다. Vault에서 Raft는 클러스터 상태를 관리하고, 클러스터 간에 데이터 복제와 합의를 이끌어냅니다.

Vault의 Raft를 활용하여 얻을 수 있는 주요 이점은 다음과 같습니다:

1. 고가용성(HA): 여러 Vault 서버가 클러스터로 구성되면, 한 서버가 장애가 나더라도 다른 서버가 계속 작동하여 서비스를 중단 없이 제공할 수 있습니다.
2. 데이터 복제: Vault의 데이터를 여러 서버 간에 복제하여 데이터 안정성을 높입니다. 이로 인해 데이터 손실을 방지할 수 있습니다.
3. 리더-팔로워 모델: Vault의 Raft 클러스터는 리더-팔로워 모델을 사용합니다. 리더 서버는 클러스터에서 요청을 처리하고, 다른 팔로워 서버들은 리더의 상태를 복제합니다.
4. 분산 데이터 관리: Vault는 클러스터화된 환경에서 데이터를 관리할 수 있으며, Vault의 내부 데이터베이스(예: 암호화된 비밀 정보)를 여러 서버에 분산하여 저장합니다.

3. Vault의 Raft 구성 요소

Vault에서 Raft는 Raft 로그와 트랜잭션 로그를 관리합니다. 각 서버는 Raft 로그를 가지고 있으며, 서버 간에 합의를 이끌어냅니다. 주요 구성 요소는 다음과 같습니다:

• Leader: Raft에서는 클러스터에 하나의 리더가 존재합니다. 리더는 클러스터에서 모든 쓰기 작업을 처리하고, 모든 팔로워에게 로그를 복제합니다.
• Followers: 리더 외에 클러스터의 나머지 서버들은 팔로워로, 리더가 발생시키는 변경 사항을 복제하고 읽기 요청을 처리할 수 있습니다.
• Candidates: 리더가 실패하면, 팔로워들은 선거를 통해 새로운 리더를 뽑습니다. 이때 팔로워는 후보자로 전환되어 리더가 되려고 시도합니다.

4. Raft의 동작 방식

1. 로그 복제: 클러스터의 리더는 클라이언트 요청을 받아들여 변경 작업을 수행합니다. 그런 다음, 리더는 해당 작업을 팔로워들에게 복제하여 동일한 상태를 유지하도록 합니다.
2. 합의 과정: 팔로워는 리더로부터 받은 로그 항목에 대해 합의를 하고, 리더는 이를 커밋하여 최종적으로 클러스터의 상태를 일관되게 만듭니다.
3. 리더 선출: 리더가 실패하면, 새로운 리더를 선출하는 과정을 거칩니다. 이 과정은 Raft 알고리즘의 핵심 부분으로, 클러스터가 지속적으로 일관성을 유지하도록 합니다.

5. Vault에서 Raft를 사용하는 이유

Vault에서 Raft를 사용하는 이유는 주로 고가용성과 데이터 안정성을 확보하기 위함입니다. Raft는 Vault 클러스터를 여러 서버에서 안정적으로 운영할 수 있게 해주며, 장애 발생 시에도 데이터를 손실 없이 계속 제공할 수 있습니다.

• 데이터 안정성: Vault는 중요한 비밀 정보나 인증 토큰을 관리하는 시스템이므로, 데이터 손실이 없어야 합니다. Raft를 사용하면 클러스터 내의 다른 서버들이 데이터를 복제하여 장애가 발생해도 데이터를 보존할 수 있습니다.
• 고가용성: Vault의 서비스가 하나의 서버에 의존하지 않도록 하여 장애 발생 시 다른 서버에서 대체할 수 있습니다.

6. Raft 활성화 방법

Vault에서 Raft를 활성화하려면, Vault 서버를 클러스터 모드로 설정해야 합니다. 예를 들어, Vault의 설정 파일에서 storage 부분을 Raft로 설정합니다.

storage "raft" {
  path    = "/opt/vault/data"
  node_id = "node1"
}

listener "tcp" {
  address = "0.0.0.0:8200"
  cluster_address = "0.0.0.0:8201"
}

api_addr = "http://localhost:8200"
cluster_addr = "http://localhost:8201"

이 예시에서 storage "raft" 설정은 Raft를 Vault의 데이터 저장소로 사용하도록 설정합니다. 여러 Vault 서버가 클러스터로 구성되면, 이 설정을 각 서버에 맞게 설정하고 실행하면 Raft 기반의 고가용성 클러스터가 구축됩니다.

7. 결론

HashiCorp Vault의 Raft는 고가용성(HA) 및 분산 합의 시스템을 구현하기 위해 사용됩니다. 여러 Vault 서버가 협력하여 일관된 데이터 상태를 유지하고, 장애가 발생하더라도 서비스를 중단 없이 제공할 수 있습니다. Raft는 Vault에서 중요한 데이터를 안정적으로 관리하고, 서비스를 신뢰성 있게 운영할 수 있게 도와줍니다.

 

---

vault 와 @RefreshScope 와 연관성

 

Vault
• Vault는 비밀 관리 시스템으로, 애플리케이션의 민감한 구성 데이터를 안전하게 저장하고 관리합니다. 이를 통해 애플리케이션은 중앙화된 저장소에서 구성 데이터를 가져올 수 있습니다.
• Spring Cloud Config Server와 통합하여 Vault를 설정 저장소로 사용할 수 있으며, 이를 통해 각 서비스가 최신 구성 정보를 다시 빌드 없이 적용할 수 있습니다.
@RefreshScope
• @RefreshScope는 Spring Cloud에서 제공하는 어노테이션으로, 애플리케이션이 실행 중일 때도 구성 값을 동적으로 갱신할 수 있게 합니다.
• 이 어노테이션은 클래스에 선언하여 해당 클래스의 프로퍼티들이 변경될 때마다 새로운 값을 반영하도록 합니다. 이를 통해 애플리케이션을 재시작하지 않고도 최신 설정을 적용할 수 있습니다.
연관성 및 사용 예시
• Vault에서 관리하는 구성 값이 변경되었을 때, @RefreshScope가 적용된 클래스는 이러한 변경 사항을 자동으로 감지하고 반영합니다. 이 과정은 주로 Spring Cloud Bus나 ContextRefresher를 통해 이루어집니다.
• 예를 들어, Vault에서 비밀번호와 같은 민감한 정보를 관리하고, 이 값이 변경되면 @RefreshScope가 적용된 컨트롤러가 자동으로 새로운 비밀번호를 가져옵니다.
• 이를 구현하기 위해서는 주기적으로 Vault의 상태를 확인하고, 변경 사항이 있을 경우 ContextRefresher를 통해 설정 값을 갱신하는 방식이 사용됩니다.