[Pinot] Apache Pinot?

Apache Pinot의 공식 문서를 요약한 글입니다.
https://docs.pinot.apache.org/

 

"Apache Pinot은 빠른 응답속도로 많은 분석을 제공할 수 있는, 실시간 분산 OLAP 데이터 저장소"

 

Kafka, Kinesis 같은 스트리밍 데이터 소스들에서 다이렉트로 데이터를 가져올 수 있고, 즉시 쿼리 실행을 위한 이벤트를 가능하게 한다. 스트리밍 뿐 아니라 Hadoop, S3, ADLS, GCS와 같은 배치 데이터 소스에서도 가져올 수 있다.

 

이 시스템의 중심 부에는, 빠른 응답 속도를 위한 스마트 인덱싱, 데이터 사전 집계 기능을 '곁들인' 컬럼 지향 저장소가 있다. 이 점이 Pinot을 실시간 분석 제공에 완벽한 도구로 만들어준다. 뿐만 아니라, Pinot은 내부 대시보드, 이상 탐지, 애드혹 데이터 탐색과 같은 분석 도메인의 다양한 사례에 적합하다.

 

Pinot은 LinkedIn과 Uber의 엔지니어들에 의해 만들어졌고, 무한히 scale-up, scale-out 할 수 있도록 설계 되었다. 또, 항상 클러스터의 사이즈와 예상 QPS 기준값에 의해 일정한 퍼포먼스를 보여준다. 

 

 

What is Apache Pinot?

[내용 요약]

1. 분석 수요의 대중화

- 예전에는 사장님만 분석된 보고 자료를 받아보았다.
- 기업 내부에서 데이터를 기반으로 의사 결정을 하기 시작하며 많은 인원이 분석 자료가 필요해졌다.
- 이제는 대중들이 대량의 데이터에 대한 분석 자료를 요구하고 이용한다.

 

2. User-Facing

- 기업 내부 레벨에서는 이미 사용할 수 있는 툴들이 많이 있다.(BigQuery, SnowFlake, Presto 등)
- 하지만 일반 사용자가 기대하는 정도에는 미치지 못한다. 
- 보다 많은 사람들이 데이터의 분석 자료를 이용하기 위해서는 다음과 같은 사항들이 충족되어야 한다.

"동시(Concurrency)에 들어오는 여러 요청에 대해,
 최신(Freshness)의 정보가 반영된 분석 자료를,
 빠르게(Latency) 전달해야 한다."

 

3. Apache Pinot

- Pinot은 이것을 다음과 같이 해결했다.

동시성 -> 동작 방법을 더 봐야할 듯
최신 -> 다양한 데이터 소스(스트리밍, 배치, 데이터 레이크 등)에서 직접 가져온다.
빠르게 -> 스마트 인덱싱, 사전 집계(pre-aggregation) + 전달(SQL Query로 정보 제공)

 

Building Latency Sensitive User Facing Analytics via Apache Pinot

[내용 요약]

1. Apache Pinot

- 실시간 분석 수요 증가  ex) LinkedIn 피드랭킹, UberEats 음식점주 관리자 페이지
- LinkedIn, Uber, Teams, Slack, Weibo 등 다양한 회사에서 적용중
- 초당 100m 이상의 이벤트 처리, Peak QPS 120k이상 ms 단위의 Query Latency

 

2. Pinot의 아키텍쳐

<Pipelines>

- Realtime pipeline은 Kafka 등과 같은 데이터 소스에서 직접 받아올 수 있다.
- Batch pipeline은 hdfs, s3와 같은 raw-data에서 대량으로 가져올 수 있다.

이 두 파이프라인을 같은 테이블에 놓고 다룰 수 있고 이것은 꽤 편리하다.
결국 User에게 이것이 하나의 통합된 view로 제공된다. 

<Controll plane>

- Apache helix로 클러스터 명령(파티셔닝, 복제, 로드밸런싱, 인스턴스 할당 등)을 조정한다.
- Controller가 따로 있어서, 성능 확장을 위해서는 machine만 추가하면 되는 확장에 용이한 구조이다.

<Data plane>

들어오는 데이터를 가져오고, 컬럼 지향 포맷으로 조직화해 쿼리가 가능하도록 만들어 놓는다.

 

3. Pinot의 처리 과정

(1) kafka 메타데이터를 fetch 한다
-> "4개의 파티션이 있구나, 4개의 segment를 생성해야 겠다"

(2) 4개의 segment를 4개의 서버에 할당한다.
-> Apache helix로 해당 작업이 이루어지며, Zookeeper에 ideal state를 기록한다.

(3) 서버들은 Kafka에 상응하는 파티션에서 데이터를 읽어오고, 로컬 segment를 생성한다.

(4) segment가 시간이 지나서 완료되면 controller가 다음 segment들을 생성하고, 이것이 반복된다.

하나씩 나눠갖는 경우는 거의 없다. replication이 일어난다.

<segment>

- raw-data는 segment로 변환된다.
- segment는 컬럼 형식 포맷으로 로드할 데이터를 줄여준다.
- Inverted, Sorted, Star-Tree 등의 미리 집계된 데이터들을 통해 key-value 급 조회가 가능하다. 

 

4. p99th 문제

- p99는 해당 값 아래에 전체 표본 중 99%가 해당됨을 의미하는 값이다.
- p50값 대비 p99값이 지나치게 높다면, 전체 중 몇 명 때문에 시간이 필요 이상으로 많이 걸린다는 것이다.  

<pinot 데이터 레이아웃 최적화>

- query span을 제한한다.
replica group을 config로 지정 가능하다. replica group은 테이블의 segement들이 전부 포함되어 있는 그룹

- 처리해야하는 것들의 수를 줄인다.
서버와 파티션이 매칭되는 샤딩함수를 이용해, 해당 세그먼트가 어느 서버로 가야 있을 지 미리 목록을 축소할 수 있다.

 

 

특징

• 다양한 압축 기능(run length, fixed bit length)을 가진 컬럼 지향 데이터베이스
• 플러그인 가능한 다양한 인덱싱(Sorted, Bitmap, Inverted, StarTree, BloomFilter, Range, TextSearch, JSON, Geospatial, ...)
• 쿼리와 세그먼트의 메타데이터를 이용한 쿼리 및 실행 최적화
• 거의 실시간에 가까운 스트림 데이터 불러오기(Kafka 등)와, 배치 데이터(Hadoop, Azure 등) 불러오기
• select, groupby, orderby, 집계 함수 등 SQL 류의 언어로 데이터 조회
• 다중값 속성 지원
• 수평적 확장성 및 fault-tolerant

 

언제 사용해야할까?

Pinot은 OLAP 쿼리를 빠른 응답 속도로 실행하기 위해 설계 되었다. 정적 데이터에 대한 빠른 분석(aggregation) 또는 실시간 데이터 입력이 필요한 상황에 적합하다.

 

- User-Facing 분석 제공
애초에 Who Viewed Profile, Company Analytics, Talent Insights 와 같은 user-facing 서비스들을 위해 개발되었다. LinkedIn에서 이미 50개가 넘는 사용자 서비스에 사용되고 있으며, 초당 수백만개의 이벤트를 수집하고 초당 10만개의 쿼리를 밀리세컨드 수준의 응답속도로 처리하고 있다.

 

- 비즈니스 metric을 위한 실시간 대시보드
slice, dice, drill down, roll up, pivot 등 대용량 다 차원의 데이터에 대해 전형적인 분석을 수행하는 데에도 사용될 수 있다. Pinot의 데이터를 사용하는 데 Superset, Tableau, PowerBI 등의 도구를 사용할 수 있다.

 

- Anomaly Detection
머신 러닝 알고리즘을 통해 pinot에 저장된 데이터에 대해 이상 탐지를 수행할 수 있다. ThirdEye가 그 기능을 제공한다.

 

 

자주 받는 질문

- Pinot은 데이터 웨어하우스인가요, 데이터베이스인가요?
Pinot은 기존의 틀에서 완전히 벗어난 제품이기 때문에, 설명하기 어렵다.

 

- 기업용 BI
데이터 분석가, 사이언티스트들에게, Pinot의 BI(Business Intelligence)를 위한 확장 가능성이 매력일 것이다. Pinot은 빅데이터 플랫폼들을 통합하면서도 데이터 웨어하우스의 역할을 수행하여, 분석과 보고를 쉽게 만들어준다.

 

- 기업용 어플리케이션 개발
어플리케이션 개발자에게, Pinot는 Kafka와 같은 스트리밍 데이터 소스에 대하여 immutable한 데이터의 집계, 그리고 그것을 SQL로 쿼리하는 점이 매력으로 다가올 것입니다. MSA와 마찬가지로, 데이터 캡슐화는 하나의 OLTP 데이터베이스에 읽고 쓰는 것에서 -> 각 어플리케이션이 각각 데이터 저장소를 갖는 것으로 완성됩니다. 이 경우에 데이터가 너무 많은 데이터베이스에 흩어져있기 때문에, 혼선을 겪을 수 있습니다. 그리고 이것은 성능의 측면에서도, 마이크로 서비스들 간에 데이터를 조인해야 하기 때문에 좋지 않습니다. 하지만 Pinot은 MSA의 데이터를 통합하여 SQL 로 쉽게 쿼리할 수 있습니다.

pinot tenants는 마이크로 서비스 팀에 있어서, 소유권을 공유하는 그 어떤 가능성도 막아줍니다. 쿼리 모델은 항상 불변의 상수입니다.

 

참고

• - Replication : https://www.joinc.co.kr/w/man/12/replication
  - Replication Transparency : https://yeonduing.tistory.com/6
  - Scatter & Getter : https://swalloow.github.io/container-patterns2/
  - p50, p99 : https://readosapien.com/what-is-p50-p90-p99-latency/