hhlab.tistory.com

최근 많은 팀원들이 서비스, 파이프라인 내에서 k8s 클러스터에서 정보를 얻어와야 하는 경우, 이미지 내에 kubectl을 설치하고 코드에서 kubectl 커맨드를 string으로 저장해 사용하거나(?) 심지어 token값을 string으로 박아 넣으려는(!) 시도를 하고 있음을 깨달았다. 이 부분을 바로 잡으며, 사람들에게 어떤 문의를 많이 받았는지를 바탕으로 정리해보고자 한다. kubectl을 이미지 내 설치한다(?) 사실 불가능한 방법은 아니다. 이미지 내 kubectl 바이너리를 설치해둔다. 서비스가 사용할 적절한 권한의 계정을 추가하고, kubeconfig를 생성한다. configmap으로 kubeconfig를 마운트한다. 이 경우, 코드 에서 시스템 커맨드를 실행하고 결과를 파싱해서 사용하게..

Stern GitHub - stern/stern: ⎈ Multi pod and container log tailing for Kubernetes -- Friendly fork of https://github.com/wercker/ster ⎈ Multi pod and container log tailing for Kubernetes -- Friendly fork of https://github.com/wercker/stern - stern/stern github.com Stern은 여러 개의 Kubernetes 파드 및 파드 내의 여러 컨테이너를 추적할 수 있다. 각 결과는 빠른 디버깅을 위해 색으로 구분된다. 여러 개의 컴포넌트를 가진 서비스나, 분산 처리 플랫폼을 모니터링할 때 유용하게 사용할 수 있..

`kubectl top` kubectl top pods -n spark kubectl top nodes 위 명령어로 한 눈에 파드별로 cpu, mem을 얼마나 사용하고 있는지 확인이 가능하며, 노드별로도 얼마나 자원이 사용중인지 확인이 가능하다. 클러스터에 경고나 장애가 나면, Grafana에 들어가지 않고 호다닥 터미널을켜 '누가 spark으로 자원을 얼마나 할당해 쓰고 있나'확인하는 데에 자주 사용하고 있다. Kubernetes Metrics API Resource metrics pipeline For Kubernetes, the Metrics API offers a basic set of metrics to support automatic scaling and similar use cases. T..

개요 아파치 카산드라(Apache Cassandra)는 오픈 소스로 개발된 분산형 NoSQL 데이터베이스입니다. 이는 파티션된 넓은 열(column) 저장 모델을 제공하며, 최종 일관성(eventual consistency)을 가진다. 아파치 카산드라는 원래 Facebook에서 설계되었으며, staged event-driven architecture (SEDA)를 사용하여 구현되었습니다. 이는 Amazon의 Dynamo 분산 저장 및 복제 기술과 Google의 Bigtable 데이터 및 저장 엔진 모델의 결합을 구현하기 위해 만들어졌습니다. Dynamo와 Bigtable은 모두 확장 가능하고 신뢰성이 높으며 고가용성을 갖춘 저장 시스템의 요구 사항을 충족시키기 위해 개발되었습니다. 그러나 각각은 개선할 ..

1. 들어가기 전, 1.1 개발 환경 설정 [Pinot] Apache Pinot 개발 환경 Apache Pinot 운영이 아닌, 개발 및 프로젝트 기여를 목적으로 개발 환경을 설정한다. WSL 환경을 기준으로 한다. Running Pinot locally - Apache Pinot Docs Note that some installations of the JDK do not contain the JNI binding hhlab.tistory.com 1.2 모듈 및 아키텍쳐 pinot-common 프로젝트 전반의 공통 클래스들을 제공 (config, metrics, metadata, pql.parsers, request, response, fs, ...) pinot-trasnport Broker의 분산-수집..

Apache Pinot 운영이 아닌, 개발 및 프로젝트 기여를 목적으로 개발 환경을 설정한다. WSL 환경을 기준으로 한다. Running Pinot locally - Apache Pinot Docs Note that some installations of the JDK do not contain the JNI bindings that are necessary to run all tests, if you see any java.lang.UnsatisfiedLinkError while running tests, you may need to change your JDK. If using Homebrew, you may install AdoptOpenJDK docs.pinot.apache.org 1. Java..

Apache Pinot의 공식 문서를 요약한 글입니다. https://docs.pinot.apache.org/ "Apache Pinot은 빠른 응답속도로 많은 분석을 제공할 수 있는, 실시간 분산 OLAP 데이터 저장소" Kafka, Kinesis 같은 스트리밍 데이터 소스들에서 다이렉트로 데이터를 가져올 수 있고, 즉시 쿼리 실행을 위한 이벤트를 가능하게 한다. 스트리밍 뿐 아니라 Hadoop, S3, ADLS, GCS와 같은 배치 데이터 소스에서도 가져올 수 있다. 이 시스템의 중심 부에는, 빠른 응답 속도를 위한 스마트 인덱싱, 데이터 사전 집계 기능을 '곁들인' 컬럼 지향 저장소가 있다. 이 점이 Pinot을 실시간 분석 제공에 완벽한 도구로 만들어준다. 뿐만 아니라, Pinot은 내부 대시보드,..