Finagle & Thrift

RPC란?

원격 프로시저 호출(remote procedure call, RPC)은 별도의 원격 제어를 위한 코딩 없이 다른 주소 공간에서 함수나 프로시저를 실행할 수 있게하는 프로세스 간 통신 기술이다. 다시 말해, 원격 프로시저 호출을 이용하면 프로그래머는 함수가 실행 프로그램에 로컬 위치에 있든 원격 위치에 있든 동일한 코드를 이용할 수 있다.

객체 지향의 원칙을 사용하는 소프트웨어의 경우 원격 프로시저 호출을 원격 호출(remote invocation) 또는 원격 메소드 호출(remote method invocation)이라고 일컫는다.

출처: 위키백과

 

RPC vs REST

RPC와 REST 비교 - API 아키텍처 간의 차이점 - AWS

	RPC	REST
무엇인가요?	원격 클라이언트에서 서버의 프로시저를 마치 로컬인 것처럼 직접적으로 호출할 수 있게 하는 시스템입니다.	클라이언트와 서버 간의 정형 데이터 교환을 정의하는 일련의 규칙입니다.
용도	원격 서버에서 작업을 수행합니다.	원격 객체에 대한 생성, 읽기, 업데이트 및 삭제(CRUD) 작업을 수행합니다.
가장 적합한 사용 사례	복잡한 계산이 필요하거나 서버에서 원격 프로세스를 트리거하는 경우	서버 데이터 및 데이터 구조를 균일하게 노출해야 하는 경우
상태 유지 여부	상태 유지 또는 무상태	무상태
데이터 전달 형식	서버에서 정의하고 클라이언트에 적용되는 일관된 구조	서버에 의해 독립적으로 결정되는 구조. 동일한 API 내에서 여러 형식을 전달할 수 있습니다.

 

 

RPC 동작 방법

RPC Implementation Mechanism in Distributed System - GeeksforGeeks

1. Client, Client Stub 및 RPC 런타임의 인스턴스는 모두 클라이언트 기기에서 실행 중이다.
2. Client는 일반적인 매개변수로 Client Stub 프로세스를 시작한다. Client Stub은 클라이언트의 주소 공간에서 저장소를 확보한다.
3. 이 시점에서 사용자는 일반 로컬 프로시저 호출을 사용하여 RPC에 액세스할 수 있다. RPC 런타임은 클라이언트와 서버 간의 메시지 전송을 담당한다. 재전송, 확인, 라우팅 및 암호화는 모두 이에 의해 수행된다.
4. Server 측에서는 작업이 완료된 후 결과 값이 Server Stub에 반환되고, 이후 Server Stub이 반환 값을 메시지로 패킹(marshalling)합니다. 전송 계층은 Server Stub으로부터 메시지를 수신합니다.
5. 결과 메시지는 전송 계층에 의해 Client 전송 계층으로 전송되고, Client Stub으로 다시 메시지가 전송됩니다.
6. Client Stub은 결과 패킷에서 반환 인수를 언패킹(unmarshalling)하고, 이 시점에서 실행 프로세스가 호출자에게 돌아갑니다.

 

Stub

단어 자체는 '토막'이라는 뜻이다.

테스트, 분산 시스템 등 다양한 분야에서 사용되는 단어지만, 공통점을 굳이 연상해보자면,
메소드는 있지만, 로직은 없는 많은 것을 '잘라낸' 상태의 무언가라는 느낌이 있다.

Stub (distributed computing) - Wikipedia

 

Mocks Aren't Stubs

 

RPC with IDL

 

Thrift

Introduction to Thrift — Thrift Tutorial 1.0 documentation

Thrift는 RPC를 위한 연관된 코드 생성 메커니즘과 함께 경량이며 언어 독립적인 소프트웨어 스택입니다. Thrift는 데이터 전송, 데이터 직렬화 및 응용 프로그램 수준의 처리를 위한 깔끔한 추상화를 제공합니다. Thrift는 원래 Facebook에서 개발되었으며 현재는 Apache 프로젝트로 오픈 소스화되었습니다. Apache Thrift는 데이터 유형 및 서비스 인터페이스를 간단한 정의 파일에서 정의하기만 하면 개발자가 RPC 클라이언트 및 서버를 구축할 수 있도록 하는 일련의 코드 생성 도구입니다. 이 파일을 입력으로 제공하면 프로그래밍 언어를 횡단하는 RPC 클라이언트 및 서버를 빌드하기 위한 코드가 생성됩니다.

 

Finagle

Finagle: A Protocol-Agnostic RPC System

 

Finagle는 JVM을 위한 프로토콜에 중립적이며 비동기 RPC 시스템으로, Java, Scala 또는 기타 JVM 호스팅 언어로 강력한 클라이언트와 서버를 쉽게 구축할 수 있게 해줍니다.

twitter.com에서 심지어 가장 간단한 웹 페이지를 렌더링하려면 많은 다른 프로토콜을 사용하는 수십 개의 네트워크 서비스의 협력이 필요합니다. 예를 들어, 홈 페이지를 렌더링하려면 애플리케이션은 소셜 그래프 서비스, Memcached, 데이터베이스 및 기타 많은 네트워크 서비스에 요청을 보냅니다. 이들 각각은 Thrift, Memcached, MySQL 등 다른 프로토콜을 사용합니다. 또한, 이러한 많은 서비스 중 일부는 다른 서비스와 통신합니다. 즉, 서버이자 클라이언트입니다. 예를 들어, 소셜 그래프 서비스는 Thrift 인터페이스를 제공하지만 MySQL 데이터베이스 클러스터에서 소비합니다.

이러한 시스템에서 고장의 빈발적인 원인 중 하나는 장애 발생 시 구성 요소 간 상호 작용이 부족한 것입니다. 일반적인 장애에는 충돌한 호스트 및 극단적인 지연 변동이 포함됩니다. 이러한 장애는 작업 대기열이 백업되거나 TCP 연결이 변동되거나 메모리 및 파일 디스크립터가 고갈되어 시스템을 통해 전파될 수 있습니다. 최악의 경우 사용자는 장애 화면을 보게 됩니다.

정교한 네트워크 서버와 클라이언트는 다양한 부분들이 움직입니다: 장애 탐지기, 부하 분산기, 장애 조치 전략 등이 있습니다. 이러한 부분들은 대규모 프로덕션 시스템에서 발생하는 다양한 장애에 견고하게 대응하기 위해 서로 섬세한 균형 속에서 함께 작동해야 합니다. 특히, 프로토콜마다 다양한 장애 탐지기, 부하 분산기 등의 구현이 있어서 이를 조율하는 것이 매우 어렵습니다. 예를 들어, Thrift의 back-pressure 전략의 구현은 HTTP의 것과 다릅니다. 이질적인 시스템이 사건 발생 중에 안정된 상태로 수렴하도록 보장하는 것은 매우 어려운 작업입니다.

우리는 모든 프로토콜에 사용할 수 있는 네트워크 서버와 클라이언트의 기본 구성 요소의 단일 구현체를 개발하기로 결정했습니다. Finagle은 Java Virtual Machine (JVM)을 위한 프로토콜에 중립적이며 비동기 원격 프로시저 호출(RPC) 시스템으로, Java, Scala 또는 JVM 호스트 언어에서 강력한 클라이언트와 서버를 쉽게 구축할 수 있습니다. Finagle은 다양한 요청/응답 지향 RPC 프로토콜과 다양한 스트리밍 프로토콜 클래스를 지원합니다.

Finagle은 다음과 같은 강력한 구현을 제공합니다:

• 연결 풀: TCP 연결 변동을 피하기 위한 스로틀링이 포함됩니다.
• 장애 탐지기: 느린 또는 충돌한 호스트를 식별합니다.
• 장애 조치 전략: 건강하지 않은 호스트로부터 트래픽을 제어합니다.
• 로드 밸런서: "최소 연결" 및 기타 전략을 포함합니다.
• 백프레셔 기술: 서버를 남용하는 클라이언트 및 도그파일링에 대비합니다.

또한, Finagle은 다음과 같은 기능을 제공하여 서비스를 더 쉽게 구축하고 배포할 수 있습니다:

• 표준 통계, 로그 및 예외 보고서를 게시하는 서비스 구축 용이성
• 프로토콜 간 분산 추적(Dapper와 유사)
• 클러스터 관리를 위해 옵션으로 ZooKeeper 사용
• 일반적인 샤딩 전략 지원

우리는 우리의 작업이 성과를 거두었다고 믿습니다 - 이제 훨씬 더 쉽고 안전하게 네트워크 서비스를 작성하고 배포할 수 있습니다.

A Beginners Guide for Twitter Finagle

 

Finagle & Thrift

Thrift

• Thrift는 RPC 프레임워크로, 서버와 클라이언트 간의 통신을 위한 프로토콜을 정의하고 구현하는 데 사용된다.
• Thrift를 사용하면 각 서비스의 API를 정의하고, 데이터 타입을 선언하며, 프로토콜을 설정할 수 있다.
• 서비스의 인터페이스 정의 및 서비스 메서드를 Thrift IDL(Interface Definition Language)을 통해 작성하고, Thrift 컴파일러 사용하여 다양한 언어로 코드를 생성할 수 있다.
• 서비스 간의 통신을 위한 표준화된 프로토콜을 정의하고, 클라이언트와 서버 간의 통신을 처리한다.

Finagle

• Finagle은 RPC 시스템을 구축하고 관리하기 위한 프레임워크로, 비동기 네트워크 서버와 클라이언트를 구축하는 데 사용된다.
• Finagle을 사용하면 서비스 간의 통신을 관리하고, 서비스의 성능 및 안정성을 유지할 수 있다.
• Finagle은 다양한 기능을 제공하여 네트워크 서버 및 클라이언트의 개발을 단순화하고, 실패 처리, 부하 분산, 로깅 등의 기능을 제공한다.
• Thrift를 통해 정의된 서비스의 클라이언트와 서버를 구현하고, 이들 간의 통신을 관리하며, 장애 처리 및 부하 분산을 수행한다.

따라서, Thrift는 서비스의 인터페이스를 정의하고 클라이언트와 서버 간의 통신을 처리하는 반면, Finagle은 이러한 서비스의 클라이언트와 서버를 구축하고 관리하는 데 사용된다. 함께 사용되면, Thrift로 정의된 서비스를 Finagle을 통해 구현하고 운영할 수 있다.

Protocols — Finagle 24.2.0 documentation