๐ป/MLOps(8)
-
Finagle & Thrift
RPC๋?์๊ฒฉ ํ๋ก์์ ํธ์ถ(remote procedure call, RPC)์ ๋ณ๋์ ์๊ฒฉ ์ ์ด๋ฅผ ์ํ ์ฝ๋ฉ ์์ด ๋ค๋ฅธ ์ฃผ์ ๊ณต๊ฐ์์ ํจ์๋ ํ๋ก์์ ๋ฅผ ์คํํ ์ ์๊ฒํ๋ ํ๋ก์ธ์ค ๊ฐ ํต์ ๊ธฐ์ ์ด๋ค. ๋ค์ ๋งํด, ์๊ฒฉ ํ๋ก์์ ํธ์ถ์ ์ด์ฉํ๋ฉด ํ๋ก๊ทธ๋๋จธ๋ ํจ์๊ฐ ์คํ ํ๋ก๊ทธ๋จ์ ๋ก์ปฌ ์์น์ ์๋ ์๊ฒฉ ์์น์ ์๋ ๋์ผํ ์ฝ๋๋ฅผ ์ด์ฉํ ์ ์๋ค.๊ฐ์ฒด ์งํฅ์ ์์น์ ์ฌ์ฉํ๋ ์ํํธ์จ์ด์ ๊ฒฝ์ฐ ์๊ฒฉ ํ๋ก์์ ํธ์ถ์ ์๊ฒฉ ํธ์ถ(remote invocation) ๋๋ ์๊ฒฉ ๋ฉ์๋ ํธ์ถ(remote method invocation)์ด๋ผ๊ณ ์ผ์ปซ๋๋ค.์ถ์ฒ: ์ํค๋ฐฑ๊ณผ RPC vs REST RPC์ REST ๋น๊ต - API ์ํคํ ์ฒ ๊ฐ์ ์ฐจ์ด์ - AWS์๊ฒฉ ํ๋ก์์ ํธ์ถ(RPC)๊ณผ REST๋ ๋ชจ๋ ์ธํฐ๋ท ํต์ ์ ์ํด ..
2024.05.09 -
Kubernetes API ํด๋ผ์ด์ธํธ ์ฌ์ฉ
์ต๊ทผ ๋ง์ ํ์๋ค์ด ์๋น์ค, ํ์ดํ๋ผ์ธ ๋ด์์ k8s ํด๋ฌ์คํฐ์์ ์ ๋ณด๋ฅผ ์ป์ด์์ผ ํ๋ ๊ฒฝ์ฐ, ์ด๋ฏธ์ง ๋ด์ kubectl์ ์ค์นํ๊ณ ์ฝ๋์์ kubectl ์ปค๋งจ๋๋ฅผ string์ผ๋ก ์ ์ฅํด ์ฌ์ฉํ๊ฑฐ๋(?) ์ฌ์ง์ด token๊ฐ์ string์ผ๋ก ๋ฐ์ ๋ฃ์ผ๋ ค๋(!) ์๋๋ฅผ ํ๊ณ ์์์ ๊นจ๋ฌ์๋ค. ์ด ๋ถ๋ถ์ ๋ฐ๋ก ์ก์ผ๋ฉฐ, ์ฌ๋๋ค์๊ฒ ์ด๋ค ๋ฌธ์๋ฅผ ๋ง์ด ๋ฐ์๋์ง๋ฅผ ๋ฐํ์ผ๋ก ์ ๋ฆฌํด๋ณด๊ณ ์ ํ๋ค. kubectl์ ์ด๋ฏธ์ง ๋ด ์ค์นํ๋ค(?) ์ฌ์ค ๋ถ๊ฐ๋ฅํ ๋ฐฉ๋ฒ์ ์๋๋ค. ์ด๋ฏธ์ง ๋ด kubectl ๋ฐ์ด๋๋ฆฌ๋ฅผ ์ค์นํด๋๋ค. ์๋น์ค๊ฐ ์ฌ์ฉํ ์ ์ ํ ๊ถํ์ ๊ณ์ ์ ์ถ๊ฐํ๊ณ , kubeconfig๋ฅผ ์์ฑํ๋ค. configmap์ผ๋ก kubeconfig๋ฅผ ๋ง์ดํธํ๋ค. ์ด ๊ฒฝ์ฐ, ์ฝ๋ ์์ ์์คํ ์ปค๋งจ๋๋ฅผ ์คํํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ํ์ฑํด์ ์ฌ์ฉํ๊ฒ..
2024.02.23 -
stern : ๋ถ์ฐ ์ฒ๋ฆฌ ํ๋ซํผ ๋ชจ๋ํฐ๋ง
Stern GitHub - stern/stern: โ Multi pod and container log tailing for Kubernetes -- Friendly fork of https://github.com/wercker/ster โ Multi pod and container log tailing for Kubernetes -- Friendly fork of https://github.com/wercker/stern - stern/stern github.com Stern์ ์ฌ๋ฌ ๊ฐ์ Kubernetes ํ๋ ๋ฐ ํ๋ ๋ด์ ์ฌ๋ฌ ์ปจํ ์ด๋๋ฅผ ์ถ์ ํ ์ ์๋ค. ๊ฐ ๊ฒฐ๊ณผ๋ ๋น ๋ฅธ ๋๋ฒ๊น ์ ์ํด ์์ผ๋ก ๊ตฌ๋ถ๋๋ค. ์ฌ๋ฌ ๊ฐ์ ์ปดํฌ๋ํธ๋ฅผ ๊ฐ์ง ์๋น์ค๋, ๋ถ์ฐ ์ฒ๋ฆฌ ํ๋ซํผ์ ๋ชจ๋ํฐ๋งํ ๋ ์ ์ฉํ๊ฒ ์ฌ์ฉํ ์ ์..
2024.02.23 -
[k8s] `kubectl top`
`kubectl top` kubectl top pods -n spark kubectl top nodes ์ ๋ช ๋ น์ด๋ก ํ ๋์ ํ๋๋ณ๋ก cpu, mem์ ์ผ๋ง๋ ์ฌ์ฉํ๊ณ ์๋์ง ํ์ธ์ด ๊ฐ๋ฅํ๋ฉฐ, ๋ ธ๋๋ณ๋ก๋ ์ผ๋ง๋ ์์์ด ์ฌ์ฉ์ค์ธ์ง ํ์ธ์ด ๊ฐ๋ฅํ๋ค. ํด๋ฌ์คํฐ์ ๊ฒฝ๊ณ ๋ ์ฅ์ ๊ฐ ๋๋ฉด, Grafana์ ๋ค์ด๊ฐ์ง ์๊ณ ํธ๋ค๋ฅ ํฐ๋ฏธ๋์์ผ '๋๊ฐ spark์ผ๋ก ์์์ ์ผ๋ง๋ ํ ๋นํด ์ฐ๊ณ ์๋'ํ์ธํ๋ ๋ฐ์ ์์ฃผ ์ฌ์ฉํ๊ณ ์๋ค. Kubernetes Metrics API Resource metrics pipeline For Kubernetes, the Metrics API offers a basic set of metrics to support automatic scaling and similar use cases. T..
2024.01.02 -
Apache Cassandra
๊ฐ์ ์ํ์น ์นด์ฐ๋๋ผ(Apache Cassandra)๋ ์คํ ์์ค๋ก ๊ฐ๋ฐ๋ ๋ถ์ฐํ NoSQL ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค. ์ด๋ ํํฐ์ ๋ ๋์ ์ด(column) ์ ์ฅ ๋ชจ๋ธ์ ์ ๊ณตํ๋ฉฐ, ์ต์ข ์ผ๊ด์ฑ(eventual consistency)์ ๊ฐ์ง๋ค. ์ํ์น ์นด์ฐ๋๋ผ๋ ์๋ Facebook์์ ์ค๊ณ๋์์ผ๋ฉฐ, staged event-driven architecture (SEDA)๋ฅผ ์ฌ์ฉํ์ฌ ๊ตฌํ๋์์ต๋๋ค. ์ด๋ Amazon์ Dynamo ๋ถ์ฐ ์ ์ฅ ๋ฐ ๋ณต์ ๊ธฐ์ ๊ณผ Google์ Bigtable ๋ฐ์ดํฐ ๋ฐ ์ ์ฅ ์์ง ๋ชจ๋ธ์ ๊ฒฐํฉ์ ๊ตฌํํ๊ธฐ ์ํด ๋ง๋ค์ด์ก์ต๋๋ค. Dynamo์ Bigtable์ ๋ชจ๋ ํ์ฅ ๊ฐ๋ฅํ๊ณ ์ ๋ขฐ์ฑ์ด ๋์ผ๋ฉฐ ๊ณ ๊ฐ์ฉ์ฑ์ ๊ฐ์ถ ์ ์ฅ ์์คํ ์ ์๊ตฌ ์ฌํญ์ ์ถฉ์กฑ์ํค๊ธฐ ์ํด ๊ฐ๋ฐ๋์์ต๋๋ค. ๊ทธ๋ฌ๋ ๊ฐ๊ฐ์ ๊ฐ์ ํ ..
2023.07.31 -
[Pinot] ์คํ์์ค ๊ธฐ์ฌ ํ๋ก์ธ์ค
1. ๋ค์ด๊ฐ๊ธฐ ์ , 1.1 ๊ฐ๋ฐ ํ๊ฒฝ ์ค์ [Pinot] Apache Pinot ๊ฐ๋ฐ ํ๊ฒฝ Apache Pinot ์ด์์ด ์๋, ๊ฐ๋ฐ ๋ฐ ํ๋ก์ ํธ ๊ธฐ์ฌ๋ฅผ ๋ชฉ์ ์ผ๋ก ๊ฐ๋ฐ ํ๊ฒฝ์ ์ค์ ํ๋ค. WSL ํ๊ฒฝ์ ๊ธฐ์ค์ผ๋ก ํ๋ค. Running Pinot locally - Apache Pinot Docs Note that some installations of the JDK do not contain the JNI binding hhlab.tistory.com 1.2 ๋ชจ๋ ๋ฐ ์ํคํ ์ณ pinot-common ํ๋ก์ ํธ ์ ๋ฐ์ ๊ณตํต ํด๋์ค๋ค์ ์ ๊ณต (config, metrics, metadata, pql.parsers, request, response, fs, ...) pinot-trasnport Broker์ ๋ถ์ฐ-์์ง..
2023.03.05