Apache Kafka5 Apache kafka 다음과 같이 AWS EC2 인스턴스 인바운드 규칙을 설정하기 위한 설명을 참고합니다 AWS EC2 인바운드 규칙 설정 AWS EC2 SSH 접속Unix 계열의 OS를 Local Host PC로 사용하시면, chmod 커맨드로 mykafkakey.pem을 실행할 수 있는 권한을 부여해야 합니다.chmod 400$ ssh -i ./mykafkakey.pem ubuntu@54.180.96.36 ※ EC2 Key Pair 생성 관련OpenJDK 설치하기1. 인스턴스 업데이트: 우선, EC2 인스턴스의 패키지 목록을 최신 상태로 업데이트합니다.sudo apt upgradesudo apt update 2. Java 설치 가능한 버전 확인: 사용 가능한 OpenJDK 버전을 검색합니다. 이를 통해 원하는 J.. 2024. 11. 8. Activemq artemis 관련 [Home Page] Creating a broker브로커를 생성하려면 배포판의 bin/ 디렉토리로 이동하여 실행하세요.$ ./artemis create $directory 또는 Windows OS[PowerShell을 사용]에서는 다음과 같이 실행합니다>artemis.cmd create $directory $directory는 브로커를 생성하고 싶은 폴더입니다. 생성 과정에서 지정되지 않은 필요한 속성에 대해 입력을 요구할 것입니다.예시:--user: is a mandatory property!Please provide the default username:admin--password: is mandatory with this configuration:Please provide the default .. 2024. 11. 8. Apache Kafka와 ActiveMQ Apache Kafka와 ActiveMQ는 모두 메시지 브로커로서 시스템 간의 데이터를 교환하는 데 사용됩니다. 하지만 두 시스템은 서로 다른 설계 목표와 특징을 가지고 있어, 용도와 요구사항에 따라 적합한 선택이 달라질 수 있습니다. Kafka를 ActiveMQ 대신 사용할 경우의 장단점을 정리해 보겠습니다.Apache Kafka의 장점고성능 및 높은 처리량Kafka는 분산형 아키텍처를 통해 초당 수백만 건의 메시지를 처리할 수 있습니다. 반면, ActiveMQ는 주로 JMS(자바 메시징 서비스) 표준에 따라 설계되어 있으므로 대규모 데이터 스트리밍보다는 비교적 작은 규모의 메시징 환경에 더 적합합니다.Kafka 사용 예시: 실시간 로그 분석, 대규모 트래픽 모니터링, IoT 센서 데이터 수집 등에서 .. 2024. 11. 8. Zookeeper, KRaft (Kafka Raft) Zookeeper는 Apache Kafka와 같은 분산 시스템에서 클러스터의 상태를 관리하고, 노드 간의 동기화와 메타데이터 저장을 담당하는 분산 코디네이션 시스템입니다. Kafka에서는 Zookeeper가 중요한 역할을 수행하여 안정적이고 일관된 상태를 유지하게 돕습니다.Zookeeper의 주요 기능메타데이터 저장Kafka의 구성, 브로커 목록, 토픽, 파티션 등과 같은 메타데이터 정보를 저장합니다.Kafka 브로커들이 클러스터 내에서 서로 어떤 상태인지, 어떤 브로커가 리더 역할을 하는지 등의 정보를 기록하고 관리합니다.리더 선출 관리Kafka는 각 파티션에 대해 리더와 팔로워로 구성되어 있습니다. Zookeeper는 장애가 발생했을 때 새로운 리더를 선출하고 관리합니다.예를 들어, 특정 브로커가 다.. 2024. 11. 7. Apache Kafka (아파치 카프카) 카프카(Kafka)는 분산형 메시지 시스템으로, 소스 애플리케이션과 타겟 애플리케이션 간의 데이터 교환을 효과적으로 관리하는 중간 메시지 브로커 역할을 수행합니다. 카프카를 통해 두 애플리케이션이 직접 통신하지 않고도 안전하게 데이터를 전달하고 처리할 수 있습니다. 소스 애플리케이션과 타겟 애플리케이션에서 카프카의 역할소스 애플리케이션(Kafka Producer)과 카프카:소스 애플리케이션은 데이터를 직접 타겟으로 보내지 않고, **카프카에 메시지를 게시(Publish)**합니다.카프카는 이 데이터를 **토픽(Topic)**이라는 논리적인 저장 공간에 저장합니다.이로써 소스 애플리케이션은 데이터 전송에만 집중할 수 있고, 타겟 애플리케이션의 상태와 상관없이 데이터를 안전하게 보관할 수 있습니다.타겟 애플.. 2024. 11. 7. 이전 1 다음
