본 포스팅은 지난 포스팅에 이어 컨슈머 그룹에 대해 파악할 수 있는 kafka-consumer-groups.sh 명령을 사용하는 방법을 정리한 것이다. 2022.10.26 - [Message Queue/Kafka] - [Kafka] Kafka Command-Line Tool(4) - kafka-console-consumer.sh [Kafka] Kafka Command-Line Tool(4) - kafka-console-consumer.sh 지난 포스팅에서는 kafka-console-producer.sh 명령을 통해 토픽에 레코드를 전달하는 과정을 살펴보았다. 2022.10.26 - [All] - [Kafka] Kafka Command-Line Tool(3) - kafka-console-producer.s..
2022.10.26 - [Message Queue/Kafka] - [Kafka] Kafka Command-Line Tool(2) - kafka.topics.sh [Kafka] Kafka Command-Line Tool(2) - kafka.topics.sh kafka-topics.sh 이 커맨드 라인 툴을 통해 토픽(topic)과 관련된 명령을 실행할 수 있다. 토픽이란 카프카에서 데이터를 구분하는 가장 기본적인 개념이다. 마치 RDBMS에서 사용하는 테이블과 유사하다 ryeojin.tistory.com 지난번에 작성한 글에 이어서 실습한다. 생성된 hello.kafka 토픽에 데이터를 넣을 수 있는 kafka-console-producer.sh 명령어를 실행해 보자. 토픽에 넣는 데이터는 '레코드(rec..
kafka-topics.sh 이 커맨드 라인 툴을 통해 토픽(topic)과 관련된 명령을 실행할 수 있다. 토픽이란 카프카에서 데이터를 구분하는 가장 기본적인 개념이다. 마치 RDBMS에서 사용하는 테이블과 유사하다고 볼 수 있다. 카프카 클러스터에 토픽은 여러 개 존재할 수 있다. 토픽에는 파티션(partition)이 존재하는데 파티션의 개수는 최소 1개부터 시작한다. 파티션은 카프카에서 토픽을 구성하는 데에 아주 중요한 요소이다. 파티션을 통해 한 번에 처리할 수 있는 데이터양을 늘릴 수 있고 토픽 내부에서도 파티션을 통해 데이터의 종류를 나누어 처리할 수 있기 때문이다. 토픽을 생성하는 상황은 크게 2가지가 있다. 1. 카프카 컨슈머 또는 프로듀서가 카프카 브로커에 생성되지 않은 토픽에 대해 데이터..
카프카에서 제공하는 카프카 커맨드 라인 툴들은 카프카를 운영할 때 가장 많이 접하는 도구이다. 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있다. 카프카 클라이언트 애플맄메이션을 운영할 때는 카프카 클러스터와 연동하여 데이터를 주고받는 것도 중요하지만 토픽이나 파티션 개수 변경과 같은 명령을 실행해야 하는 경우도 자주 발생한다. 카프카 브로커가 설치된 인스턴스에 ssh로 원격 접속하여 명령을 실행해도 되고, 브로커에 9092(카프카 기본 설정 포트)로 접근 가능한 컴퓨터에서 명령을 실행할 수도 있다. 로컬 컴퓨터에서 카프카 커맨드 라인 툴 명령을 AWS EC2 인스턴스에 설치된 카프카 브로커로 요청하는 실습을 진행한다. AWS EC2 인스턴스에 테스트용 카프카 브로커를 실행..
