Kafka
[Docker] Kafka , Zookeeper 설치
docker-compose로 kafka, zookeeper 간편 설치 나는 NiFi 에서 사용하기 위해 설치하였다. Kafka 설치 이유는 아래와 같다. 엄청 많은 데이터(초당 5000개 이상) 를 처리하는데 PutSQL(RDBMS) 같은 프로세서는 초당 처리 속도가 제한적이기 때문에 많은 데이터들이 NiFi Queue에 쌓여버림(점점 부모 프로세서의 큐까지 연쇄적으로 쌓여 버려 방치할 경우 NiFi 전체 Flow가 마비됨) 그렇다고 Queue 사이즈를 늘리기에는 너무 높은 사양의 서버가 요구 단순 연결(TEST)을 위해 설치, 복잡한 데이터를 처리하려면 옵션및 설정을 더 추가해야함. docker-compose.yml 로 간편하게 설치할 수 있다. Docker-compose version: '2' ser..
