Random Forest Is Horizontal Scaling for Predictions

개요

Random Forest는 SRE(Site Reliability Engineering) 관점에서 바라볼 때, 복수의 독립적인 예측기(개별 Decision Tree)를 활용하여 단일 예측기의 불안정성을 상쇄하고 신뢰도를 높이는 머신러닝 알고리즘이다.

주요 내용

* 단일 Decision Tree의 한계: 단일 Decision Tree는 데이터의 작은 변화에도 예측 결과가 크게 바뀌는 높은 분산(variance)을 가지므로 프로덕션 환경에서 신뢰하기 어렵다.
* Random Forest의 작동 방식:
* 데이터의 무작위 재샘플링(bootstrap aggregation)으로 수백 개의 독립적인 Decision Tree를 생성한다.
* 각 분기(split)마다 전체 특성(feature)이 아닌 일부 특성만을 무작위로 선택하도록 강제한다. 이 과정이 일반적인 Bagging과의 주요 차이점이며, 개별 Tree 간의 다양성을 확보하여 예측의 안정성을 높인다.
* 각 Tree는 개별적으로는 불안정하지만, 서로 다른 방향으로 불안정하기 때문에 평균을 내면 전체적인 예측 결과는 안정화된다.
* 장점:
* 수평적 확장성(Embarrassingly Parallel): 각 Tree가 독립적이므로 여러 CPU 코어를 활용하여 병렬 학습이 가능하다.
* 신뢰도 향상: 분산(variance)이 크게 감소하여 예측의 신뢰성이 높아진다.
* Out-of-Bag (OOB) Error: 각 Tree가 학습할 때 사용되지 않은 데이터(약 1/3)를 활용하여 별도의 검증 데이터셋 없이 모델 성능을 평가할 수 있다.
* 단점 및 한계:
* 가독성 저하: 단일 Decision Tree의 결정 경로를 직접 해석하기 어렵다.
* 편향된 데이터: 만약 데이터 자체가 편향되어 있다면, 모든 Tree가 동일한 편향을 학습하여 예측 오류가 발생할 수 있다. (Redundancy without diversity is not redundancy)
* 적용 분야: 정형 데이터(tabular data), 혼합 특성 유형, 비선형 상호작용이 있는 경우, 설명 가능성보다 정확도가 더 중요한 예측 작업 (예: Delivery-risk scoring, churn prediction, fraud risk).
* 프로덕션 운영 시 고려사항:
* 특성 중요도 변화 추적: Feature importance 변화는 모델의 불안정성을 나타내는 지표로 활용할 수 있다.
* OOB Error 활용: 별도의 데이터 분리 없이 무료 검증이 가능하다.
* 설명 가능성 대비: "왜"라는 질문에 답하기 위해 SHAP, LIME 또는 별도의 단일 Decision Tree를 함께 사용하는 방안을 미리 준비해야 한다.

시사점

Random Forest는 SRE의 복수화, 단일 실패 지점 제거 등의 원칙을 머신러닝 예측에 적용한 사례로, 복잡한 시스템을 다루는 엔지니어에게 친숙한 접근 방식을 제공하며, 정확도를 높이면서도 학습 및 검증 과정을 효율화할 수 있는 실용적인 알고리즘이다.