가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 11장 ) 뉴스 피드 시스템 설계

뉴스 피드 시스템 설계 

• 뉴스 피드 
  • 홈페이지 중앙에 지속적으로 업데이트 되는 스토리

 

 

1단계 문제 이해 및 설계 범위 확정 

• 지원 환경 
  • ex) 모바일 앱, 웹 등 
• 구현해야 하는 기능 
• 스토리 표시 순서 
• 한명의 사용자가 가질 수 있는 최대 친구의 수 
• 트래픽 규모 
• 이미지나 비디오 스토리 게시 가능 여부 

 

 

 

2단계 개략적 설계안 제시 및 동의 구하기 

• 뉴스 피드 API
  • 제공 기능
    • 클라이언트가 서버와 통신하기 위해 사용되는 수단 
    • HTTP 프로토콜 기반 
    • 상태 정보를 업데이트하거나 뉴스 피드를 가져오거나 친구를 추가하는 등의 다양한 작업 수행시 사용됨  
  • 1) 피드발행 (feed publishing)
    • 사용자가 스토리를 포스팅하여 해당 데이터를 캐시와 데이터 베이스에 기록 
    • 새포스팅은 친구의 뉴스 피드에도 전송 
    • HTTP POST의 형식
      • body: 포스팅 내용
      • Authorization : API 호출을 인증하기 위해 사용 
    • 컴포넌트  
      • 사용자
        • 새 포스팅을 올리는 주체 
      • 로드밸런서 
        • 트래픽을 웹 서버로 분산 
      • 웹 서버 
        • HTTP 요청을 내부 서비스로 중계 
      • 포스팅 저장 서비스 
        • 새 포스팅을 데이터베이스와 캐시에 저장 
      • 포스팅 전송 서비스 
        • 새 포스팅을 친구의 뉴스 피드에 푸시 
        • 뉴스 피드 데이터는 캐시에 보관하여 빠르게 읽어갈 수 있도록 구성 
      • 알림 서비스 
        • 친구들에게 새 포스팅이 올라왔음을 알리거나 푸시 알림을 보내는 역할 담당  
  • 2) 뉴스 피드 생성 (news feed building) 
    • 모든 친구의 포스팅을 시간 흐름 역순으로 모아 만드는 것으로 가정 
    • HTTP GET의 형식 
      • Authorization : API 호출을 인증하기 위해 사용
    • 컴포넌트 
      • 사용자 
        • 뉴스 피드를 읽는 주체 
      • 로드밸런서 
        • 트래픽을 웹 서버로 분산
      • 웹 서버 
        • 트래픽을 뉴스 피드 서비스로 전달
      • 뉴스 피드 서비스 
        • 캐시에서 뉴스 피드를 가져오는 서비스 
      • 뉴스 피드 캐시 
        • 뉴스 피드를 렌더링 할 때 필요한 피드 ID를 보관 

 

 

3단계 상세 설계 

• 포스팅 전송 서비스 
  • 웹 서버 
    • 클라이언트와 통신 및 인증이나 처리율 제한등의 기능 수행 
    • 스팸을 막고 유해한 콘텐츠가 자주 올라오는 것을 방지하기 위해 특정 기간 동안 한 사용자가 올릴 수 있는 포스팅의 수에 제한 
  • 포스팅 전송 (팬아웃) 서비스 
    • 어떤 사용자의 새 포스팅을 그 사용자와 친구 관계에 있는 모든 사용자에게 전달하는 과정 
    • 방식
      • 1) 쓰기 시점에 팬아웃 (push 모델) 
        • 새로운 포스팅을 기록하는 시점에 뉴스 피드를 갱신 
          • 포스팅이 완료되면 바로 해당 사용자의 캐시에 해당 포스팅을 기록 
        • 장점 
          • 뉴스 피드가 실시간으로 갱신 
          • 친구 목록에 있는 사용자에게 즉시 전송 
          • 새 포스팅이 기록되는 순간에 뉴스 피드가 이미 갱신되므로 (pre-computed) 뉴스 피드를 읽는 데 드는 시간이 짧아짐 
        • 단점 
          • 친구가 많은 사용자의 경우 친구 목록을 가져오고 그 목록에 있는 사용자 모두의 뉴스 피드를 갱신하는데 많은 시간이 소요될 수 있음 
            • 핫키 (hotkey) 문제 
          • 서비스를 자주 이용하지 않는 사용자의 피드까지 갱신해야 하므로 컴퓨팅 자원이 낭비됨 
      • 2) 읽기 시점에 팬아웃(fanout-on-read, pull 모델) 
        • 피드를 읽어야 하는 시점에 뉴스 피드를 갱신 
          • 요청 기반(on-demand) 모델 
        • 사용자가 본인 홈페이지나 타임라인을 로딩하는 시점에 새로운 포스트를 가져옴 
        • 장점 
          • 비활성화된 사용자, 또는 서비스에 거의 로그인하지 않는 사용자의 경우 유리 
          • 데이터를 친구 각각에 푸시하는 작업이 필요 없으므로 핫키 문제도 생기지 않음 
        • 단점 
          • 뉴스 피드를 읽는데 많은 시간이 소요될 수 있음 
      • 사용 방식 
        • 두가지의 방식을 결합 
          • 뉴스피드를 빠르게 가져오는 것은 중요하기 때문에 대부분의 사용자에 대해서는 푸시 모델을 사용 
          • 친구나 팔로워가 아주 많은 사용자의 경우 팔로워로 하여금 해당 사용자의 포스팅이 필요할 때 가져가도록 풀 모델을 사용 
            • 시스템 과부하 방지 
          • 안정 해시를 통해 요청과 데이터를 보다 고르게 분산하여 핫키 문제를 감소 
      • 동작 방식 
        • 1) 그래프 데이터 베이스에서 친구 ID 목록을 가져옴 
        • 2) 사용자 정보 캐시에서 친구들의 정보를 가져옴 
          • 이때, 친구 가운데 일부를 걸러냄 
            • ex) 누군가의 피드 업데이트를 mute 설정했다면 친구관계는 유지되지만 뉴스피드에 보이면 안됨 
            • ex) 일부 사용자에게만 피드를 공유하도록 설정된 경우 
        • 3) 친구 목록과 새 스토리의 포스팅 ID를 메세지 큐에 넣음 
        • 4) 팬아웃 작업 서버가 메시지 큐에서 데이터를 꺼내 뉴스 피드 데이터를 뉴스 피드 캐시에 넣음 
          • 새로운 포스팅이 만들어 질 때마다 캐시에 레코드들이 추가됨 
            • 데이터 형식은 <포스팅 ID, 사용자 ID>
          • 사용자 정보와 포스팅 정보 전부를 테이블에 저자하게 되면 메모리 요구량이 지나치게 많아질 수 있음 
          • 메모리를 적정 수준으로 유지하기 위해 캐시의 크기에 제한을 두고 해당 값은 조정가능하도록 설정 
            • 대부분의 사용자가 보려하는 것은 최신 스토리일 것이므로 캐시 미스가 일어날 확율이 낮음 
• 뉴스 피드 읽기 상세 설계 
  • 이미지나 비디오와 같은 미디어 콘텐츠는 CDN에 저자하여 빨리 읽어갈 수 있도록 할 수 있음 
  • 요청 흐름 
    • 1) 사용자가 뉴스 피드를 읽으려는 요청을 보냄 
    • 2) 로드 밸런서가 요청을 웹 서버 가운데 하나로 보냄 
    • 3) 웹 서버는 피드를 가져오기 위해 뉴스 피드 서비스를 호출 
    • 4) 뉴스 피드 서비스는 뉴스 피드 캐시에서 포스팅 ID 목록을 가져옴 
    • 5) 뉴스 피드에 표시할 사용자 이름, 사용자 사진, 포스팅 콘텐츠, 이미지 등을 사용자 캐시와 포스팅 캐시에서 가져와 완전한 뉴스 피드를 만듦
    • 6) 생성된 뉴스 피드를 JSON 형태로 클라이언트에게 전송
    • 7) 클라이언트가 해당 피드를 렌더링 
• 캐시 구조 
  • 뉴스 피드 시스템의 핵심 컴포넌트 
  • 계층 
    • 뉴스 피드 
    • 콘텐츠 
      • 포스팅 데이터를 보관
      • 인기 콘텐츠와 일반 콘텐츠를 나눠서 저장 
    • 소셜 그래프 
      • 사용자 간 관계 정보를 보관 
    • 행동 
      • 포스팅에 대한 사용자의 행위에 관한 정보를 보관 
      • 포스팅에 대한 좋아요, 답글 등
    • 횟수 
      • 좋아요 횟수, 응답 수, 팔로워 수, 팔로잉 수 등의 정보를 보관 

 

4단계 마무리 

• 설계를 진행하고 기술을 선택할 때는 그 배경에 어떤 타협적 결정들(trade-off)이 있었는지 잘 이해하고 설명할 수 있어야 함 
• 데이터 베이스 규모 확장 
  • 수직적 vs 수평적 
  • SQL vs NoSQL
  • 주-부 다중화 
  • 복제본에 대한 읽기 연산 
  • 일관성 모델 
  • 데이터 베이스 샤딩 
• 웹 계층 무상태 운영 
• 가능한 많은 데이터를 캐시할 방법 
• 여러 데이터 센터를 지원할 방법 
• 메시지 큐를 사용해서 컴포넌트 사이의 결합도 낮추기 
• 핵심 메트릭에 대한 모니터링 
  • 트래픽이 몰리는 시간대의 QPS(Queries per Second) 
  • 사용자가 뉴스 피드를 새로고침 할 때의 지연 시간