WSL 설치하기 Windows Subsystem for Linux 으로 윈도우 10,11 환경에서 리눅스 환경을 사용할 수 있고 윈도우의 자원을 공유한다. 따로 가상 컴퓨터를 만들어서 리눅스를 설치할 필요가 없다. 설치 생각보다 어렵진 않다. 1. 시작 -> Windows 기능 켜기/끄기 2. Linux용 Windows 하위 시스템 체크 3. PowseShell을 관리자 권한으로 실행 후, 아래 명령어 입력 wsl --install -d Ubuntu-20.04 4. 설치 종료 후 재부팅 5. 재부팅 후 WSL 창에 Ubuntu 터미널이 뜨면 Username, Password 설정 6. root의 패스워드를 변경할 경우 아래 명령어 입력 sudo passwd # 방금 지정한 Password입력 # root..
NiFi - ExecuteScript (NiFi에서 Python사용하기) NiFi에서 내장된 프로세서로는 데이터흐름 및 처리가 어려울 때 직접 코딩하여 FlowFile을 제어, 변형할 수 있는 프로세서이다. 만약에 더 높은 수준으로 FlowFile을 처리해야할 경우 직접 프로세서를 만들어야 하는게 더 좋지만 내장 프로세서가 없고 복잡한 처리, 성공과 실패 관계로만 라우팅 할 경우에는 ExecuteScript를 사용해 보는 것도 나쁘지 않다. 무작정 ExecuteScript를 사용하는 건 옳지 못하다. 원하는 프로세서가 정말 없는지 깊게 검색해 보고 없으면 사용할 것. 공식 문서 ExecuteScript Dynamic Properties Any dynamic (user-defined) properties ..
ElasticSearch TimeZone 설정 방법 (리눅스 현재시간 설정 방법) ElasticSearch에서 crontab 작업, 혹은 기타 시간 설정 등이 필요할 때가 있는데 이게 기본값으로 UTC로 표현되어 한국에서 ElasticSearch를 다룰 때 불편하다. 리눅스 현재 시간 확인 방법 현재 ElasticSearch의 TimeZone설정을 확인하고 싶은 경우 아래 명령어를 실행시킨다. Docker환경의 ElasticSearch인 경우 해당 컨테이너 내부에서 실행시킨다. date #출력 Thu 25 May 2023 06:04:29 AM UTC #만약 이렇게 나오면 하지 않아도 된다. 2023. 05. 25. (목) 15:05:14 KST 해당 글은 `date` 명령어를 입력하였을 때 출력이 KST..
PostgreSQL 모듈 설치하기 PostgreSQL에 모듈을 설치해 보고 기본 모듈을 EXTENSION 하여 활성화 시켜보자. PostgreSQL은 다양한 모듈이 있고 직접 모듈을 만들어 사용할 수도 있다. 그래서 PostgreSQL 사용목적, 용도에 맞게 모듈을 만들거나 외부에 있는 모듈을 다운받아 사용할 수 있다. 설치해볼 모듈 해당 글에서는 아래와 같은 모듈을 설치해 볼것이다. pg_stat_statements pg_cron pg_stat_monitor 'pg_stat_monitor` , 'pg_cron' 모듈은 외부 모듈이다. 설치해볼 모듈에 대한 간략한 설명(번역본) pg_stat_monitor 해당 모듈은 Percona에서 만든 PostgreSQL용 쿼리 성능 모니터링 도구이다. pg_sta..
Docker 환경에다가 PostgreSQL을 설치해보려고 한다.. PostgreSQL은 사용자 정의 모듈 등을 사용할 수 있는것이 다른 RDB들과의 차이점 이기도 하다. PostgreSQL 설치하기 Docker 환경에서 PostgreSQL을 설치해 보려고 한다. 환경에 큰 제약사항이 없다면 Docker로 설치하는것이 쉽고 간편하다. Docker Hub 에서 이미지 가져오기 아래 링크에 PostgreSQL에 대한 Docker 정보가 있다. postgres - Official Image | Docker Hub Note: the description for this image is longer than the Hub length limit of 25000, so has been trimmed. The full..
MiNiFi에서 기본으로 없는 프로세서 사용방법 우선 MiNiFi에서 기본으로 사용할 수 있는 프로세서를 아래에서 확인해 보자 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com Apache NiFi MiNiFi Copyright © 2023 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather log..
MiNiFi - NiFi와 상호통신하는 방법, MiNiFi Flow 작성 방법 SAMPLE 우선적으로 RemoteProcessGroup을 사용하는 방법에 대해 알고 있어야 합니다. Remote Process Group 사용법 Remote Process Group 사용방법 Site to Site 방식으로 다른 NiFi 서버에 FlowFile을 보낼 때 사용합니다. 저같은 경우는 보통 MiNiFi 에서 NiFi로 FlowFile을 전송할 때 사용합니다. URLs : 전송보낼/전송받을 NiFi 의 hbcha0916.tistory.com [Apache Nifi] RPG(Remote Processor Group)를 이용하여 모듈처럼 파이프 라인 관리하기, or site to site 구성하 RPG(Remote P..
MiNiFi Toolkit 사용방법 NiFi의 탬플릿을 MiNiFi 에서 사용하기 위해 MiNiFi Toolkit을 이용하여 config.yml 파일로 변환 시켜 줘야 합니다. 1. 우선 아래 링크 목차에서 일반 Linux에서 MiNiFI설치 -> MiNiFi 다운로드 및 설치 부분에서 MiNiFi Toolkit를 다운로드 해둔 상태 + java가 설치된 상태이어야 합니다. 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com 2. Win..
