Remote Process Group 사용방법 Site to Site 방식으로 다른 NiFi 서버에 FlowFile을 보낼 때 사용합니다. 저같은 경우는 보통 MiNiFi 에서 NiFi로 FlowFile을 전송할 때 사용합니다. URLs : 전송보낼/전송받을 NiFi 의 URL을 입력합니다. (로컬의 경우에는 http://127.0.0.1:/nifi 를 입력합니다.) Transport Protocol : HTTP 선택 HTTP Proxy Server Hostname : 호스트 명을 작성합니다. (URLs 에서 http(https):// , 과 포트번호, `/nifi` 를 뺀 주소를 입력) HTTP Proxy Server Port : 포트번호를 입력합니다. 정상적으로 생성 완료된 모습 테스트 테스트 목차의..
개조를 하게된 이유 나는 아이폰을 사용중이고 태블릿은 갤럭시를 사용한다. 또한 맥의 연동성, OSX 을 체험해 보고 싶었으나 그렇지 못한 지갑.. 주로 사용하는건 윈도우지만 맥을 정말 사용해 보고 싶었고 연속성 또한 사용해 보고싶었다. 중고로 인텔 맥북을 사면 좋겠지만 이미 있는 갤럭시북 이온이 있기 때문에 큰 지출은 하고싶지 않았다. x86 사이트에서 얻은 기초적인 지식으로 한번 개조를 해보겠다고 다짐했었다. 엑스팔육 : 모두의 온라인 커뮤니티 - X86.CO.KR PC 하드웨어 포털, 애플포럼, 해킨토시(aka. 커스텀맥) 커뮤니티로서 열정적인 PC유저들의 공간 입니다. x86.co.kr 사양 - 하드웨어 정보 NT950XCR - G58A CPU i5-10210U (1.6GHz) RAM 8GB (On..
Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사용할 수 있다. 사용 유형 아래와 같은 사용자에게 적합하다. NiFi와 상호통신하는 Agent(보통 수집용) 서버 사양이 극히 낮을 경우 등 주의사항 주의사항 MiNiFi와 설치된 NiFi와 같은 버전을 설치하는 것이 좋다. 단점 NiFi 의 parameter contexts 사용 불가 -> yml의 변수(alias) 기능을 사용하여 일부 불편을 해소할 수 있긴함. NiFi 처럼 DataFlow를 확인하지 못함 : 처음에는 NiFi로 작성되지만 시간이 흘러 향후 유지보..
준비 1. 아래 사이트에서 데모 라이선스 신청 클릭 Technet 효율적인 시스템 관리를 위한 기술 전문 포탈, 테크넷서비스 technet.tmaxsoft.com 2. 데모 라이선스 발급 신청 클릭 제품명 : Tibero Version : 6 hostname : (`uname -n`명령어로 출력된 결과를 복사하여 작성) 가입된 이메일로 Tibero 라이선스파일(xml)을 발급해 준다. 3. 홈페이지 상단 다운로드 클릭 데이터베이스 클릭 Tibero 클릭 Tibero 6 다운로드 맨 하단 Linux 클릭 Linux (x86) 64-bit 클릭 다운로드 파일 가져오기 SCP - SecureCopy 사용하기 로컬 / 원격지 환경이 둘다 혹은 한쪽이 GUI 가 아닌 CLI 환경일 경우 파일을 옮겨야 할 경우 귀..
docker-compose로 kafka, zookeeper 간편 설치 나는 NiFi 에서 사용하기 위해 설치하였다. Kafka 설치 이유는 아래와 같다. 엄청 많은 데이터(초당 5000개 이상) 를 처리하는데 PutSQL(RDBMS) 같은 프로세서는 초당 처리 속도가 제한적이기 때문에 많은 데이터들이 NiFi Queue에 쌓여버림(점점 부모 프로세서의 큐까지 연쇄적으로 쌓여 버려 방치할 경우 NiFi 전체 Flow가 마비됨) 그렇다고 Queue 사이즈를 늘리기에는 너무 높은 사양의 서버가 요구 단순 연결(TEST)을 위해 설치, 복잡한 데이터를 처리하려면 옵션및 설정을 더 추가해야함. docker-compose.yml 로 간편하게 설치할 수 있다. Docker-compose version: '2' ser..
NiFi Toolkit (NiFi CLI) 설치 밎 Parameter context 백업/복원 방법 NiFi 를 사용하면 전역 변수처럼 parameter contexts를 유용하게 사용하는데, 이 parameter contexts를 백업/복원 하는 경우가 필요할 수 있다. 아래와 같은 경우 유용하게 사용할 수 있다. 내 parameter contexts를 다른 컴퓨터에 parameter contexts로 복사하고 싶을 경우 parameter contexts를 백업해 두고 싶은 경우 Parameter contexts를 백업/복원 하려면 NiFi Web에서 할 수 있지 않기 때문에 별도의 Toolkit을 설치해야 한다. Apache NiFi Toolkit (NiFi CLI) 를 이용한다. https://ni..
Get_content 리눅스에서는 `tail -f`명령어로 실시간으로 .log 파일을 볼 수 있지만 윈도우 환경에서는 `tail` 명령어가 먹히지 않는다. 윈도우(파워쉘) 환경에서 리눅스 `tail -f` 와 같은 역할을 하는 명령어는 아래와 같다. # 파워쉘 Get-Content -Wait -Tail 10 # LinuxShell tail -f 10 `-Wait` 옵션 -> '-f` 옵션과 동일 `-Tail 10` 옵션 -> `10` 옵션과 동일
Docker 외부 디렉토리와 컨테이너 내부 디렉토리와 연결 방법 주의 아래 옵션 적용 시 컨테이너 내부에 이미 있는 디렉토리일 경우 로컬 디렉토리 내용으로 덮어씌워진다. 컨테이너 생성 시 `docker run` 명령어를 사용하는데 이 때 적용시킬 수 있다. 해당 옵션을 적용시킬 시 장점이 있다. 로컬 디렉토리와 공유할 수 있는 디렉토리가 생긴다. (외부에서 파일을 가져올 경우 덜 번거롭다) 컨테이너를 초기화 해야할 경우 쉽게 백업할 수 있다. docker run -v [로컬 디렉토리]:[컨테이너 디렉토리] `-v`옵션을 적용시키고 추가로 포트(`-p`) , 이름(`--name`) 등을 추가로 적용시키면 된다.
