1. 시작 Whisper를 사용하기 위해 우선 그래픽 드라이버 및 PyTorch를 설치한다. 1.1. 설치 버전 Whisper를 사용하기 위해 아래와 같은 버전을 사용합니다. 아래와 같은 버전이 아닐 경우 2번으로 넘어가 설치합니다. 1.1.1. Python 버전 3.9.0 (최신버전으로 사용해도 무관) 아래 명령어로 Python 버전을 확인합니다. python --version 1.1.2. CUDA 버전 11.8 아래 명령어로 CUDA 버전을 확인합니다. nvcc --version 1.1.3. PyTorch CUDA 11.8 아래 명령어로 CUDA 버전을 확인합니다. python # python 콘솔 진입 >>> import torch >>> print(torch.__version__) >>> exit..
1. 시작 STT관련 프로젝트 덕분에 STT를 알게 되었다. STT는 Speech To Text의 줄임말로 사람의 음성을 텍스트로 변환한다. 반대로는 TTS(Text To Speech)가 있으며 우리가 알고 있는 BJ한테 후원하면 나오는 여자음성(and 쿠쿠루삥뽕), 내비게이션 길안내 등이 TTS이다. 2. STT종류 및 특징 STT를 사용해 볼수 있는 것은 OpenAI(ChatGPT를 만든 조직)에서 만든 Whisper와 Naver에서 만든 ClovaSpeech가 있다. 2.1. OpenAI - Whisper 주요 특징 [참고 : whisper github] https://github.com/openai/whisper GitHub - openai/whisper: Robust Speech Recognit..
1. 시작 보안 환경이 있는 곳에서 내 PC를 사용할 일이 생겼다. SSH사용은 허가하지만 원격(Anydesk, TeamViewer..) 앱과 Mail사이트, 클라우드사이트(aws, synologyQuickConnect) 등을 이용할 수 없었고 사용적발 시 곧바로 전화가 온다..(쓰지 말라고..) Python으로 GPU를 사용해야 하지만 본사와 현장에 GPU가 있는 컴퓨터가 없었기 때문에 내 PC를 사용해야만 했다. 하지만 우리 집 네트워크 구성은 아래와 같이 구성되어 있어서 곧바로 접속할 수가 없었다. U+ 공유기에 SynologyNAS 서버를 DMZ를 설정해 둬서 Synology에는 곧바로 접속할 수 있었지만, 내 `Windows_PC`에는 Synology에 SSH로 접속한 다음 또 SSH로 Wind..
1. 시작 해당 설치는 클러스터 구성 내용을 이어서 작성하며 그 기준에 맞게 작성하였습니다. `node1~3` 은 `/etc/hosts` 파일에 추가해 준 내용이며 아래 링크를 참고하세요 [참고 1 `etc/hosts`] https://hbcha0916.tistory.com/63#4.2.%20%EB%84%A4%EC%9E%84%20%EC%84%9C%EB%B2%84%20%EB%A7%A4%ED%95%91%20%60%2Fetc%2Fhosts%60-1 [zookeeper][Ubuntu] Apache zookeeper cluster 구성하기 1. 시작 업무에서 이중화 요구사항에 따라 규모 있는 cluster를 구성해야 한다. 추후 업무에 내가 정리하고 참고하기 위해 글을 작성한다.(망각 방지) 2. zookeepe..
1. 시작 한 서버에 여러 데몬 애플리케이션을 설치하고, 이것들을 부팅 시 시작하게끔 해줘야 하는 경우가 생겼다. https://hbcha0916.tistory.com/category/%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0%20%EA%B5%AC%EC%84%B1 '클러스터 구성' 카테고리의 글 목록 망각을 지연시키는 블로그 hbcha0916.tistory.com 컴퓨터가 어떠한 이유로 재부팅 되었을 경우에 직접 Shell에 접속하여 `xxx.sh start` 명령어를 직접 실행시키기도 번거롭고, 그 명령어를 직접 실행시켜 주기 전까지 서비스가 불가하기 때문에 부팅 시 스크립트를 설정해 줘야 한다. 1.1. 자동 시작 프로그램 목록 부팅 시 자동 시작되어야 하는 프로그램들은 아래와..
환경변수(`/etc/bashrc` or `/etc/profile` or `~/.bashrc` or `~/.profile`) 에다가 별칭을 등록할 수 있다. `/etc` 디렉토리에 적용하면 모든 유저에게, `~`(`home`) 디렉토리에 적용하면 그 사용자만 적용할 수 있다. 문법 alias 별칭='' 예 alias ssh_go='ssh_go@192.168.0.5' 적용 후 `ssh_go` 라는 명령어를 입력했을 때 `ssh go@192.168.0.5` 명령어를 실행하게 된다. 나는 서버 안에 있는 VM머신에 자주 접속하는데, 매번 ssh 명령어를 사용하기 귀찮아 별칭으로 사용하고 있다.
1. 시작 Kafka 클러스터를 구성하면서 유용한 툴을 찾았다. 이처럼 Kafka 브로커들을 GUI로 확인할 수 있다. 2. Github UI for Apache Kafka 의 깃허브 프로젝트 링크이다. https://github.com/provectus/kafka-ui GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management Open-Source Web UI for Apache Kafka Management. Contribute to provectus/kafka-ui development by creating an account on GitHub. github.com 3. Docker pull 아래 docker pull 명령..
1. 시작 아래 선행작업이 필요합니다.(Zookeeper 설치) https://hbcha0916.tistory.com/63 [zookeeper][Ubuntu] Apache zookeeper cluster 구성하기 1. 시작 업무에서 이중화 요구사항에 따라 규모 있는 cluster를 구성해야 한다. 추후 업무에 내가 정리하고 참고하기 위해 글을 작성한다.(망각 방지) 2. zookeeper Apache zookeeper 는 분산시스템을 위한 hbcha0916.tistory.com 이제 카프카 클러스터를 구성해준다. 카프카는 Apache NiFi 클러스터와 함께 사용할 것이기 때문에 NiFi 에서 적용하는 기준으로 작성한다. 편의상 Kafka가 설치된 경로를 `$KAFKA_HOME`으로 이야기 하겠다. 1...
