๐ป/MLOps(8)
-
[Pinot] Apache Pinot ๊ฐ๋ฐ ํ๊ฒฝ
Apache Pinot ์ด์์ด ์๋, ๊ฐ๋ฐ ๋ฐ ํ๋ก์ ํธ ๊ธฐ์ฌ๋ฅผ ๋ชฉ์ ์ผ๋ก ๊ฐ๋ฐ ํ๊ฒฝ์ ์ค์ ํ๋ค. WSL ํ๊ฒฝ์ ๊ธฐ์ค์ผ๋ก ํ๋ค. Running Pinot locally - Apache Pinot Docs Note that some installations of the JDK do not contain the JNI bindings that are necessary to run all tests, if you see any java.lang.UnsatisfiedLinkError while running tests, you may need to change your JDK. If using Homebrew, you may install AdoptOpenJDK docs.pinot.apache.org 1. Java..
2023.03.05 -
[Pinot] Apache Pinot?
Apache Pinot์ ๊ณต์ ๋ฌธ์๋ฅผ ์์ฝํ ๊ธ์ ๋๋ค. https://docs.pinot.apache.org/ "Apache Pinot์ ๋น ๋ฅธ ์๋ต์๋๋ก ๋ง์ ๋ถ์์ ์ ๊ณตํ ์ ์๋, ์ค์๊ฐ ๋ถ์ฐ OLAP ๋ฐ์ดํฐ ์ ์ฅ์" Kafka, Kinesis ๊ฐ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ ์์ค๋ค์์ ๋ค์ด๋ ํธ๋ก ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์๊ณ , ์ฆ์ ์ฟผ๋ฆฌ ์คํ์ ์ํ ์ด๋ฒคํธ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํ๋ค. ์คํธ๋ฆฌ๋ฐ ๋ฟ ์๋๋ผ Hadoop, S3, ADLS, GCS์ ๊ฐ์ ๋ฐฐ์น ๋ฐ์ดํฐ ์์ค์์๋ ๊ฐ์ ธ์ฌ ์ ์๋ค. ์ด ์์คํ ์ ์ค์ฌ ๋ถ์๋, ๋น ๋ฅธ ์๋ต ์๋๋ฅผ ์ํ ์ค๋งํธ ์ธ๋ฑ์ฑ, ๋ฐ์ดํฐ ์ฌ์ ์ง๊ณ ๊ธฐ๋ฅ์ '๊ณ๋ค์ธ' ์ปฌ๋ผ ์งํฅ ์ ์ฅ์๊ฐ ์๋ค. ์ด ์ ์ด Pinot์ ์ค์๊ฐ ๋ถ์ ์ ๊ณต์ ์๋ฒฝํ ๋๊ตฌ๋ก ๋ง๋ค์ด์ค๋ค. ๋ฟ๋ง ์๋๋ผ, Pinot์ ๋ด๋ถ ๋์๋ณด๋,..
2022.11.05