• 목차

1. 왜 스트림 처리가 필요할까?

1-1. 배치 처리의 한계

데이터를 일정량 모아서 한꺼번에 처리하는 방식 → 배치 처리

<aside>

배치 처리 문제 상황 예시

💳 비정상 결제 감지

• 해외에서 갑작스러운 고액 결제 발생
• 감지 및 차단은 수 시간 후 → 이미 피해 발생

📱 포털 실시간 검색어

• 대형 사건 발생, 그러나 순위는 1시간 전 데이터 기준
• "실시간"이라고 표기되어 있으나 실제로는 실시간이 아님 </aside>

배치 처리의 근본적인 한계

• 지연(latency) : 데이터가 생겨도 다음 배치 타이밍까지 대기
• 유한한 데이터 가정 : 배치는 데이터가 모두 수집된 이후 처리된다는 전제가 있지만, 실제 데이터는 끊임없이 생성됨

1-2. 스트림 처리란?

끊임없이 들어오는 신규 데이터를 연속적으로 처리하고, 낮은 지연 시간(latency)으로 결과를 지속적으로 생성하는 방식

핵심 특징 두 가지

① 무한한 데이터(Unbounded Data)를 가정

• 배치 : 데이터의 시작과 끝이 존재
• 스트림 : 시작만 있고 끝이 없음. 계속 흘러 들어옴

② 이전 연산 상태를 기억