달리기록 달리기록

분류 전체보기

• Jabba Utility

  엔지니어링/Kafka 2022. 2. 15. 14:28

  카프카 내용은 아니지만, 커뮤니티 커넥터에 따라서(예컨대 GCP sink connector) 기존에 install 되어 있는 자바 버전이 아닌 상위의 버전이 필요할 때가 있다. 이처럼 테스트 환경에서 여러 버전의 자바가 필요할 때 Jabba를 사용할 수 있다. Installation 다른 버전의 자바가 필요한 계정으로 전환하여 설치를 한다. 만약 root에서 설치하면 kafka 계정에서는 적용되지 않는다. #계정 전환 # su - kafka #설치 $ curl -sL https://github.com/shyiko/jabba/raw/master/install.sh | bash && . ~/.jabba/jabba.sh Installing v0.11.2... Adding source string to /hom..

  Read More
• [구성] Mongo Sink Connector

  엔지니어링/Kafka 2021. 12. 22. 16:02

  🍃Mongo Sink Connector를 구성해 보려고 한다. (apache/confluent 모두에서 사용 가능) 🍃는 해당 서버의 호스트이름을, 은 사용자 설정사항이다. (그냥 입맛대로 정하면 됨) 🍃MongoDB 커넥터의 경우, confluent가 아닌 벤더사 자체에서 지원해주고 있다. https://docs.mongodb.com/kafka-connector/current/introduction/install/#std-label-kafka-connector-installation-reference Install the MongoDB Kafka Connector — MongoDB Kafka Connector Docs Home → MongoDB Kafka ConnectorLearn how to inst..

  Read More
• [설치, 구성] Apache Kafka Installation

  엔지니어링/Kafka 2021. 11. 29. 23:10

  🐬아파치 카프카(오픈소스)를 설치해보겠다. 엔터프라이즈 버전도 동일하게 설치할 수 있다. 🐬버츄얼 머신 구성 후, 설정 부터의 메뉴얼을 담았다. 🐬 안의 내용은 사용자 지정이므로, 각자 입맛대로 설정해주면 된다. 🐬root 의 명령어가 주석처럼 나오는게 싫어서... > 로 대신했다. 1. OS setting 우분투OS 설치 후, VM에서 하는 설정이다. 다른 OS 모두 가능하나, 우분투가 가장 호환성이 좋다고 알고 있다. vm을 생성하며 kafka 유저를 생성했다고 가정한다. root password 변경 $ sudo su -> kafka > passwd root -> -> ssh 연결을 위한 패키지 설치 > su - root > apt-get update > apt-get install opens..

  Read More
• ElasticSearch → Kibana 특정 유저, 경로 지정하여 설치

  엔지니어링/ELK 2021. 11. 19. 12:00

  ElasticSearch 우분투에서는 apt-get 패키지를 사용하여 안정적인 최신버전의 elk stack을 설치할 수 있다. 하기 installation은 .deb 파일로 설치하는 과정이다. 모든 서비스는 system 에 등록하지 않고 직접 기동하였다. 1. add user elk 유저 생성 및 /elk 디렉토리 생성 # adduser elk -> elk -> elk -> Y /etc/sudoers 파일에 추가 elk는 root 권한이 있어야 실행되므로, /etc/sudoers 파일에 추가해준다. 추가해주지 않으면 sudo 명령 사용 시, 'elk is not in the sudoers file. This incident will be reported' 와 같은 에러 메시지가 출력되면서 기동되지 않는다..

  Read More
• Oracle 11g 기동 시 오류

  데이터베이스/Oracle 2021. 8. 13. 15:30

  오류 ORA-01034 ORA-01034: ORACLE not available 해결 : 데이터베이스 켜주기 SQL> startup ORACLE instance started. Total System Global Area 2622255104 bytes Fixed Size 2256112 bytes Variable Size 637534992 bytes Database Buffers 1979711488 bytes Redo Buffers 2752512 bytes Database mounted. Database opened. 오류 LRM-00109 ORA-01078: failure in processing system parameters LRM-00109: could not open parameter file '..

  Read More
• Oracle 11g 설치 시 경고/오류

  데이터베이스/Oracle 2021. 8. 13. 14:12

  1. Checks 에서 Shmall, Shmmax 경고 /etc/sysctl.conf 파일에서 각각의 값을 크게 바꾸어 주면 된다. 2. Packages 에서의 경고 & 오류 compat- : yum install elfutils- : yum install #일단 아래 코드 실행해보기 [root] yum install elfutils-libelf-devel-* #코드 실행 후, retry 했는데 오류 수정이 안되는 경우, [root] yum list | grep elfutils-libelf-devel* #yum으로 어떤 패키지가 깔려있는지 확인한다. pdksh : 버그 #원인: ins_emagent.mk에 오류 [oracle] vi $ORACLE_HOME/sysman/lib/ins_emagent.mk #..

  Read More
• [Grafana] No date field named @timestamp found 오류

  엔지니어링/ELK 2021. 8. 12. 09:25

  현상 : 다음과 같이 @timestamp 오류가 생기는 경우 원인 : 버전 정보 오류 해결 : 엘라스틱 서치의 버전정보를 확인한 후, 수정해준다. (나같은 경우 5.x 가 아니라 7.10+ 이었음) #버전정보 확인 #version 필드의 number가 버전정보입니다. $ curl "localhost:9200" { "name" : "elk", "cluster_name" : "elasticsearch", "cluster_uuid" : "", "version" : { "number" : "7.13.2", "build_flavor" : "default", "build_type" : "deb", "build_hash" : "", "build_date" : "2021-06-10T21:01:55.251515791Z"..

  Read More
• 서울시 지하철 대시보드1 - 전처리

  엔지니어링/ELK 2021. 7. 31. 15:26

  reference https://github.com/eskrug/elastic-demos GitHub - eskrug/elastic-demos: Elastic 한국 커뮤니티에서 만든 데모 모음입니다 Elastic 한국 커뮤니티에서 만든 데모 모음입니다. Contribute to eskrug/elastic-demos development by creating an account on GitHub. github.com https://www.youtube.com/watch?v=ypsEZXVYLo4&list=PLhFRZgJc2afqxJx0RBKkYUxSUDJNusXPl 1. 준비 프로그램 준비 디렉토리 생성 > git 파일 복제 후, seoul-metro-logs 디렉토리에 진입 $ cd $ git clone ..

  Read More