MiNiFi에서 기본으로 없는 프로세서 사용방법 우선 MiNiFi에서 기본으로 사용할 수 있는 프로세서를 아래에서 확인해 보자 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com Apache NiFi MiNiFi Copyright © 2023 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather log..
MiNiFi - NiFi와 상호통신하는 방법, MiNiFi Flow 작성 방법 SAMPLE 우선적으로 RemoteProcessGroup을 사용하는 방법에 대해 알고 있어야 합니다. Remote Process Group 사용법 Remote Process Group 사용방법 Site to Site 방식으로 다른 NiFi 서버에 FlowFile을 보낼 때 사용합니다. 저같은 경우는 보통 MiNiFi 에서 NiFi로 FlowFile을 전송할 때 사용합니다. URLs : 전송보낼/전송받을 NiFi 의 hbcha0916.tistory.com [Apache Nifi] RPG(Remote Processor Group)를 이용하여 모듈처럼 파이프 라인 관리하기, or site to site 구성하 RPG(Remote P..
MiNiFi Toolkit 사용방법 NiFi의 탬플릿을 MiNiFi 에서 사용하기 위해 MiNiFi Toolkit을 이용하여 config.yml 파일로 변환 시켜 줘야 합니다. 1. 우선 아래 링크 목차에서 일반 Linux에서 MiNiFI설치 -> MiNiFi 다운로드 및 설치 부분에서 MiNiFi Toolkit를 다운로드 해둔 상태 + java가 설치된 상태이어야 합니다. 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com 2. Win..
Remote Process Group 사용방법 Site to Site 방식으로 다른 NiFi 서버에 FlowFile을 보낼 때 사용합니다. 저같은 경우는 보통 MiNiFi 에서 NiFi로 FlowFile을 전송할 때 사용합니다. URLs : 전송보낼/전송받을 NiFi 의 URL을 입력합니다. (로컬의 경우에는 http://127.0.0.1:/nifi 를 입력합니다.) Transport Protocol : HTTP 선택 HTTP Proxy Server Hostname : 호스트 명을 작성합니다. (URLs 에서 http(https):// , 과 포트번호, `/nifi` 를 뺀 주소를 입력) HTTP Proxy Server Port : 포트번호를 입력합니다. 정상적으로 생성 완료된 모습 테스트 테스트 목차의..
개조를 하게된 이유 나는 아이폰을 사용중이고 태블릿은 갤럭시를 사용한다. 또한 맥의 연동성, OSX 을 체험해 보고 싶었으나 그렇지 못한 지갑.. 주로 사용하는건 윈도우지만 맥을 정말 사용해 보고 싶었고 연속성 또한 사용해 보고싶었다. 중고로 인텔 맥북을 사면 좋겠지만 이미 있는 갤럭시북 이온이 있기 때문에 큰 지출은 하고싶지 않았다. x86 사이트에서 얻은 기초적인 지식으로 한번 개조를 해보겠다고 다짐했었다. 엑스팔육 : 모두의 온라인 커뮤니티 - X86.CO.KR PC 하드웨어 포털, 애플포럼, 해킨토시(aka. 커스텀맥) 커뮤니티로서 열정적인 PC유저들의 공간 입니다. x86.co.kr 사양 - 하드웨어 정보 NT950XCR - G58A CPU i5-10210U (1.6GHz) RAM 8GB (On..
Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사용할 수 있다. 사용 유형 아래와 같은 사용자에게 적합하다. NiFi와 상호통신하는 Agent(보통 수집용) 서버 사양이 극히 낮을 경우 등 주의사항 주의사항 MiNiFi와 설치된 NiFi와 같은 버전을 설치하는 것이 좋다. 단점 NiFi 의 parameter contexts 사용 불가 -> yml의 변수(alias) 기능을 사용하여 일부 불편을 해소할 수 있긴함. NiFi 처럼 DataFlow를 확인하지 못함 : 처음에는 NiFi로 작성되지만 시간이 흘러 향후 유지보..
준비 1. 아래 사이트에서 데모 라이선스 신청 클릭 Technet 효율적인 시스템 관리를 위한 기술 전문 포탈, 테크넷서비스 technet.tmaxsoft.com 2. 데모 라이선스 발급 신청 클릭 제품명 : Tibero Version : 6 hostname : (`uname -n`명령어로 출력된 결과를 복사하여 작성) 가입된 이메일로 Tibero 라이선스파일(xml)을 발급해 준다. 3. 홈페이지 상단 다운로드 클릭 데이터베이스 클릭 Tibero 클릭 Tibero 6 다운로드 맨 하단 Linux 클릭 Linux (x86) 64-bit 클릭 다운로드 파일 가져오기 SCP - SecureCopy 사용하기 로컬 / 원격지 환경이 둘다 혹은 한쪽이 GUI 가 아닌 CLI 환경일 경우 파일을 옮겨야 할 경우 귀..
docker-compose로 kafka, zookeeper 간편 설치 나는 NiFi 에서 사용하기 위해 설치하였다. Kafka 설치 이유는 아래와 같다. 엄청 많은 데이터(초당 5000개 이상) 를 처리하는데 PutSQL(RDBMS) 같은 프로세서는 초당 처리 속도가 제한적이기 때문에 많은 데이터들이 NiFi Queue에 쌓여버림(점점 부모 프로세서의 큐까지 연쇄적으로 쌓여 버려 방치할 경우 NiFi 전체 Flow가 마비됨) 그렇다고 Queue 사이즈를 늘리기에는 너무 높은 사양의 서버가 요구 단순 연결(TEST)을 위해 설치, 복잡한 데이터를 처리하려면 옵션및 설정을 더 추가해야함. docker-compose.yml 로 간편하게 설치할 수 있다. Docker-compose version: '2' ser..
