2024.12.11(수) { PostgreSQL, 로우데이터&비정형데이터, Spring Cloud Bus와 Spring Cloud Vault }

PostgreSQL은 오픈 소스 관계형 데이터베이스 관리 시스템(RDBMS)입니다. 고급 SQL 쿼리 기능을 제공하며, ACID(원자성, 일관성, 격리성, 지속성)를 보장하는 트랜잭션 처리 시스템을 갖추고 있어 신뢰성 높은 데이터베이스 관리 시스템으로 널리 사용됩니다.

주요 특징

오픈 소스:
PostgreSQL은 자유롭게 사용할 수 있는 오픈 소스 소프트웨어입니다. 다양한 운영 체제에서 사용 가능하며, GPL 라이선스로 제공됩니다.
고급 SQL 지원:
표준 SQL을 따르며, 트랜잭션, JOIN, 서브쿼리, 인덱스, 뷰, 트리거 등을 지원합니다. 또한, 복잡한 쿼리, 집합 연산자 및 사용자 정의 함수 등을 사용하여 고급 데이터 처리 및 분석을 할 수 있습니다.
확장성:
PostgreSQL은 매우 확장성이 뛰어나며, 사용자 정의 데이터 타입, 함수, 인덱스 등을 생성할 수 있습니다. 이를 통해 특정 요구 사항에 맞는 맞춤형 데이터베이스를 구축할 수 있습니다.
ACID 준수:
PostgreSQL은 트랜잭션이 ACID 속성(Atomicity, Consistency, Isolation, Durability)을 준수하여, 데이터의 무결성과 안정성을 보장합니다.
JSON 지원:
JSON 및 JSONB 형식을 지원하여, 비정형 데이터와 관련된 작업도 쉽게 처리할 수 있습니다. 이는 NoSQL 데이터베이스와 비슷한 기능을 제공하지만, 관계형 데이터베이스의 장점을 그대로 유지합니다.
복제 및 고가용성:
PostgreSQL은 마스터-슬레이브 복제 및 다중 마스터 복제를 지원하며, 이를 통해 데이터베이스의 가용성을 높일 수 있습니다.
리니어 확장:
샤딩(Sharding), 파티셔닝(Partitioning) 등을 지원하여 대규모 데이터에 대해서도 성능과 확장성을 제공합니다.

기본적인 PostgreSQL 설치 및 설정

1. PostgreSQL 설치

macOS에서 Homebrew로 설치:
brew install postgresql
Ubuntu에서 설치:
sudo apt update sudo apt install postgresql postgresql-contrib

2. PostgreSQL 서비스 시작

macOS:
brew services start postgresql
Ubuntu:
sudo service postgresql start

3. PostgreSQL 데이터베이스 접속

PostgreSQL에는 기본적으로 postgres라는 사용자 계정이 있습니다. 터미널에서 psql 명령어를 사용하여 접속할 수 있습니다.

psql -U postgres

4. 데이터베이스 및 테이블 생성

새 데이터베이스 생성:
CREATE DATABASE mydb;
새 테이블 생성:
CREATE TABLE users ( id SERIAL PRIMARY KEY, name VARCHAR(100), email VARCHAR(100) );

5. 기본적인 SQL 쿼리 예시

데이터 삽입:
INSERT INTO users (name, email) VALUES ('John Doe', 'john@example.com');
데이터 조회:
SELECT * FROM users;
데이터 업데이트:
UPDATE users SET name = 'Jane Doe' WHERE id = 1;
데이터 삭제:
DELETE FROM users WHERE id = 1;

6. PostgreSQL 관리 도구

PostgreSQL은 다양한 관리 도구와 클라이언트를 제공합니다. 그 중 가장 많이 사용되는 도구는 다음과 같습니다:

pgAdmin: PostgreSQL을 관리하기 위한 그래픽 인터페이스 도구입니다. 데이터베이스와 테이블을 쉽게 관리할 수 있습니다.
psql: PostgreSQL의 CLI(Command Line Interface) 도구로, SQL 쿼리를 직접 실행할 수 있습니다.

PostgreSQL 사용 예시

데이터베이스 연결: 웹 애플리케이션에서 PostgreSQL 데이터베이스를 사용하려면 해당 데이터베이스에 연결해야 합니다. 예를 들어, Spring Boot 애플리케이션에서 PostgreSQL을 사용하려면 application.properties 파일에서 데이터베이스 연결을 설정합니다.

spring.datasource.url=jdbc:postgresql://localhost:5432/mydb
spring.datasource.username=postgres
spring.datasource.password=mysecretpassword
spring.datasource.driver-class-name=org.postgresql.Driver

JPA 사용: Spring Data JPA를 사용하여 PostgreSQL에 쉽게 데이터를 저장하고 조회할 수 있습니다. 예를 들어, @Entity 클래스와 @Repository를 설정하여 PostgreSQL과 연동된 데이터를 처리할 수 있습니다.

@Entity
public class User {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String name;
    private String email;
}

결론

PostgreSQL은 뛰어난 기능을 제공하는 관계형 데이터베이스 관리 시스템으로, 다양한 용도에서 활용할 수 있습니다. 데이터베이스가 필요한 웹 애플리케이션, 분석 시스템, 데이터 저장소 등 여러 분야에서 유용하게 사용됩니다.

"로우 데이터(Raw Data)"와 "비정형 데이터(Unstructured Data)"는 비슷하게 들리지만, 실제로는 서로 다른 개념입니다. 아래에서 두 가지의 차이점을 설명해드리겠습니다.

1. 로우 데이터 (Raw Data)

정의: 로우 데이터란, 가공되지 않은 원시 데이터를 의미합니다. 즉, 추가적인 분석이나 변형이 이루어지지 않은 상태의 데이터를 말합니다.
특징:
- 대부분 분석 전에 처리해야 할 상태입니다.
- 형식이 다양한 데이터일 수 있지만, 기본적으로 데이터가 아직 정리되지 않은 상태입니다.
- 예: 센서에서 출력되는 측정 값, 로그 파일, 원시 텍스트 파일 등.
예시:
- 서버 로그 파일에서 기록된 시간, 요청 URL, 응답 코드 등.
- 측정된 온도, 습도 등의 센서 데이터.

2. 비정형 데이터 (Unstructured Data)

정의: 비정형 데이터는 명확한 구조나 형식이 없는 데이터를 말합니다. 이러한 데이터는 표 형식(테이블)으로 나타낼 수 없거나, 복잡한 형태의 데이터를 포함할 수 있습니다.
특징:
- 데이터가 특정 형식이나 구조로 정리되어 있지 않으며, 텍스트, 이미지, 오디오, 비디오 등의 다양한 형태를 가질 수 있습니다.
- 분석이나 처리를 위해서는 추가적인 작업이 필요할 수 있습니다.
- 예: 이메일, 소셜 미디어 게시물, 비디오 파일, 이미지 파일, 음성 기록 등.
예시:
- 텍스트 문서나 이메일 내용.
- 이미지 파일 (예: JPEG, PNG 등).
- 오디오 파일 (예: MP3, WAV 등).
- 비디오 파일 (예: MP4, AVI 등).

로우 데이터와 비정형 데이터의 차이점

형식의 차이:
- 로우 데이터는 데이터를 기록하는 데 사용되는 형식에 상관없이, 그 자체로는 처리되지 않은 "원시" 상태의 데이터를 의미합니다. 즉, 데이터를 처음 수집한 상태에서 변형되지 않은 데이터입니다.
- 비정형 데이터는 "형식이 없는" 데이터를 의미하며, 반드시 원시 데이터일 필요는 없습니다. 오히려 비정형 데이터는 기존에 구조가 없는 형태의 데이터를 의미합니다. 텍스트, 이미지, 비디오 등 다양한 형식의 데이터가 이에 해당합니다.
처리 상태:
- 로우 데이터는 데이터를 수집하거나 기록한 후, 아직 분석되지 않은 상태일 수 있습니다.
- 비정형 데이터는 아예 데이터를 구조화할 수 없거나, 구조화하기 어려운 데이터를 의미합니다.

결론

로우 데이터는 원시 데이터이며, 비정형 데이터는 형식이 없는 데이터입니다. 비정형 데이터는 로우 데이터의 한 종류일 수 있지만, 모든 로우 데이터가 비정형 데이터는 아닙니다. 로우 데이터는 데이터를 처음 수집한 상태일 때, 비정형 데이터는 그 형식이나 구조가 정의되지 않은 데이터에 해당합니다.

Spring Cloud Bus와 Spring Cloud Vault는 둘 다 Spring Cloud 생태계에서 애플리케이션의 구성 관리와 보안을 다루는 중요한 프로젝트입니다. 두 프로젝트는 서로 다른 목적을 가지고 있으며, 각각의 기능과 용도를 이해하는 것이 중요합니다.

1. Spring Cloud Bus

Spring Cloud Bus는 분산 시스템 환경에서 여러 서비스 간에 이벤트 전파를 담당하는 마이크로서비스 기반의 솔루션입니다. 이는 여러 서비스나 애플리케이션 인스턴스 간에 구성 변경, 장애 상태, 배포 알림 등을 전파할 수 있는 메커니즘을 제공합니다.

주요 기능:

구성 변경 전파: @RefreshScope와 함께 사용하여 애플리케이션이 구성 변경을 실시간으로 반영할 수 있도록 도와줍니다. 예를 들어, Spring Cloud Config 서버에서 설정을 변경할 때 /actuator/refresh를 각 애플리케이션 인스턴스로 전파하여 변경된 구성이 모든 서비스에 즉시 적용될 수 있도록 합니다.
이벤트 전파: 애플리케이션 간에 상태 변화나 이벤트를 전파하는 데 사용됩니다. 예를 들어, 시스템에서 특정 이벤트가 발생할 때, 이 이벤트를 다른 마이크로서비스나 컴포넌트로 전달할 수 있습니다.
Kafka, RabbitMQ와 같은 메시징 시스템 사용: Spring Cloud Bus는 기본적으로 메시지 브로커인 Kafka나 RabbitMQ와 통합되어 서비스를 연결하고 이벤트를 전파할 수 있습니다.

사용 예시:

Spring Cloud Bus를 사용하면 서비스 간에 구성 변경을 전파하거나 특정 이벤트를 처리할 수 있습니다.

spring:
  cloud:
    bus:
      enabled: true
      destination: "rabbit://localhost:5672"  # RabbitMQ를 예시로

그리고 /actuator/refresh와 같은 엔드포인트가 호출되면, 다른 서비스로도 자동으로 구성이 반영됩니다.

요약:

목적: 애플리케이션 간 이벤트 전파 및 구성 동기화.
통합: 메시징 시스템(예: RabbitMQ, Kafka).
기능: 구성을 변경하고 이를 분산 시스템의 여러 인스턴스에 즉시 전파.

2. Spring Cloud Vault

Spring Cloud Vault는 HashiCorp Vault와 통합하여 애플리케이션의 비밀 관리 및 보안 기능을 제공하는 Spring Cloud 프로젝트입니다. Vault는 비밀번호, API 키, 인증 정보 등 민감한 정보를 안전하게 저장하고 접근 제어를 관리할 수 있는 도구입니다.

Spring Cloud Vault는 Spring 애플리케이션에서 Vault를 쉽게 통합하여 비밀 저장소와 구성 관리 기능을 제공하며, 보안 강화를 위한 API를 제공합니다.

주요 기능:

비밀 관리: Vault를 통해 암호화된 데이터를 안전하게 관리하고, 이를 Spring 애플리케이션에서 필요할 때 읽어 사용할 수 있습니다. 예를 들어, 데이터베이스 암호, API 키, 인증 토큰 등을 안전하게 저장하고 관리할 수 있습니다.
구성 관리: 애플리케이션 설정을 Vault에서 가져와서 애플리케이션 실행 시 필요한 환경 변수를 설정할 수 있습니다.
동적 비밀 관리: Spring Cloud Vault는 동적 비밀을 지원하여, 예를 들어 AWS Secrets Manager, Consul, Database Credentials와 같은 외부 시스템의 비밀 정보를 동적으로 생성하고 사용하는 기능을 제공합니다.
암호화: 비밀 데이터를 안전하게 암호화하고, 복호화하여 사용할 수 있는 기능을 제공합니다.

사용 예시:

spring:
  cloud:
    vault:
      uri: http://localhost:8200  # Vault 서버 URI
      token: myroot  # Vault root 토큰
      kv-version: 2  # Vault의 KV 2버전 사용
      authentication: TOKEN  # 토큰 인증 사용
      application-name: licensing-service
      backend: secret  # Vault의 "secret" 경로에서 비밀을 찾음

위와 같은 설정을 통해 Spring 애플리케이션에서 Vault의 비밀을 읽어올 수 있습니다. 예를 들어, 애플리케이션에서 데이터베이스 암호를 Vault에서 가져와 사용할 수 있습니다.

요약:

목적: 애플리케이션 비밀 관리 및 보안 강화.
통합: HashiCorp Vault와 통합하여 비밀번호, API 키 등을 안전하게 관리.
기능: 동적 비밀 관리, 암호화, 보안 강화를 위한 설정 제공.

Spring Cloud Vault와 Spring Cloud Bus의 차이점

기능	Spring Cloud Vault	Spring Cloud Bus
목적	비밀 관리 및 보안 기능 제공	애플리케이션 간 이벤트 전파 및 구성 동기화
핵심 기능	암호화된 비밀 관리, 비밀번호, API 키 저장 및 암호화	분산 시스템에서 서비스 간 이벤트 및 구성 전파
사용 기술	HashiCorp Vault	메시징 시스템(예: Kafka, RabbitMQ)
주요 용도	민감한 정보 안전하게 저장, 동적 비밀 관리	여러 서비스에서 설정 변경 전파, 상태 변경 이벤트 처리

결론

Spring Cloud Vault는 애플리케이션의 비밀을 안전하게 관리하고, 이를 애플리케이션에서 필요할 때 읽어오는 데 유용합니다. 비밀번호, API 키와 같은 민감한 정보를 안전하게 저장하고 관리하려면 이 솔루션을 사용하는 것이 좋습니다.
Spring Cloud Bus는 분산 시스템에서 여러 애플리케이션 간에 구성 변경이나 이벤트를 전파할 수 있도록 돕습니다. 서비스가 많고 구성 변경을 동적으로 반영해야 할 때 유용합니다.

자기개발 블로그

2024.12.11(수) { PostgreSQL, 로우데이터&비정형데이터, Spring Cloud Bus와 Spring Cloud Vault }

주요 특징

기본적인 PostgreSQL 설치 및 설정

1. PostgreSQL 설치

2. PostgreSQL 서비스 시작

3. PostgreSQL 데이터베이스 접속

4. 데이터베이스 및 테이블 생성

5. 기본적인 SQL 쿼리 예시

6. PostgreSQL 관리 도구

PostgreSQL 사용 예시

결론

1. 로우 데이터 (Raw Data)

2. 비정형 데이터 (Unstructured Data)

로우 데이터와 비정형 데이터의 차이점

결론

1. Spring Cloud Bus

주요 기능:

사용 예시:

요약:

2. Spring Cloud Vault

주요 기능:

사용 예시:

요약:

Spring Cloud Vault와 Spring Cloud Bus의 차이점

결론

티스토리툴바