합니다, 개발공부📝 합니다, 개발공부📝

알림 시스템 설계 알림  고객에게 중요한 정보를 비동기 적으로 제공  1단계 문제 이해 및 설계 범위 확정 알림의 종류 실시간 시스템 여부 ex) 연성 실시간 시스템 (soft real-time) : 가능한 빨리 전달, 약간의 지연 가능 지원 단말의 종류 사용자에게 보낼 알림을 만들 사람 사용자에게 알림 on/off 설정 기능 제공 여부 (opt-out)하루에 보낼 수 있는 알림의 갯수 제한    2단계 개략적 설계안 제시 및 동의 구하기 알림 유형별 지원 방안IOS 푸시 알림알림 제공자 (provider) 알림 요청을 만들어 애플 푸시 알림 서비스 (APNS: Apple Push Notification Service)로 보내는 주체 필요 정보 단말 토큰 (device token) 알림 요청을 보내는데 ..

이번년도에 개발자 컨퍼런스에 모두 떨어져서 매우 슬펐는데, 기다리던 개발자 컨퍼런스 신청에 성공하여 드디어...! 다녀왔다!  네이버 DAN 24↓https://dan.naver.com/24 DAN 24팀네이버 컨퍼런스 DAN 24는 네이버의 비즈니스 전략과 기술, 크리에이티브, 그리고 다양한 경험의 전문성을 유기적으로 연결하여 네이버가 앞으로 만들어나갈 비즈니스, 서비스의 변화 방향을dan.naver.com   네이버 컨퍼런스는 랜덤 추첨이었던 다른 컨퍼런스와 다르게 진행 날짜별로 선착순 신청을 받아서, 알림 설정까지 해두고 빠르게 티켓팅해서 갈수 있었다. 작년보다 이번년도 컨퍼런스 신청이 왜이렇게 어려웠는지 🥲  신청전에 Day1과 Day2의 세션 내용을 보고 백엔드 직무에 관한 세션이 상대적으로 ..

웹 크롤러 설계 웹 크롤러 로봇 또는 스파이더라고 불림 검색 엔진에서 널리 쓰이는 기술웹에 새로 올라오거나 갱신된 콘텐츠를 찾아냄사용처 검색 엔진 인덱싱 크롤러의 가장 보편적인 옹례 웹페이지를 모아 검색 엔진을 위한 로컬 인덱스를 생성 ex) Googlebot = 구글 검색 엔진이 사용하는 웹 크롤러 웹 아카이빙 나중에 사용할 목적으로 장기보관을 위해 웹에서 정보를 모으는 절차 웹 마이닝 인터넷에서 유용한 지식을 도출 = 데이터 마이닝 ex) 금융 기업의 주주총회 자료나 연차보고서를 이용한 기업의 핵심 사업 방향 파악 웹 모니터링 저작권이나 상표권이 침해되는 사례 모니터링 등 복잡도 웹 크롤러가 처리해야 하는 데이터의 규모에 따라 달라짐 감당해야 하는 데이터의 규모와 기능을 알아야 함   1단계 문제 이..

1단계 문제 이해 및 설계 범위 확정 요구 사항 URL 단축 : 주어진 긴 URL을 훨씬 짧게 줄임URL 리디렉션 : 축약된 URL로 HTTP 요청이 오면 원래 URL로 안내 높은 가용성과 규모 확장성, 그리고 장애 감내가 요구됨 트래픽 파악 매일 1억개의 단축 URL을 만들어 낼 수 있어야 함 개략적 추정 쓰기 연산 매일 1억개의 단축 URL 생성 초당 쓰기 1억 / 24 / 3600 = 1160 읽기 연산 읽기 연산과 쓰기 연산의 비율을 10: 1로 가정 읽기 연산은 초당 11600회 발생 저장 용량 URL 단축 서비스를 10년간 운영한다고 가정하면 1억 x 365 x 10 = 3650억 개의 레코드를 보관해야 함 축악전 URL의 평균 길이는 100바이트로 가정 10년동안 필요한 저장 용량은 3650..

분산 시스템을 위한 유일 ID 생성기 설계 분산 시스템에서는 auth_increment 속성이 설정된 관계형 데이터 베이스의 기본 키는 적용되지 않음   1단계 문제 이해 및 설계 범위 확정 요구 사항 ID는 유일해야 함 ID는 숫자로만 구성되어야 함 ID는 64비트로 표현될 수 있는 값이어야 함 ID는 발급 날짜에 따라 정렬 가능해야 함 초당 10,000 개의 ID를 만들 수 있어야 함   2단계 개략적 설계안 제시 및 동의 구하기 다중 마스터 복제 (multi-master replication)데이터의 auth_increment 기능을 활용하면서 k(= 데이터 베이스 서버 수) 만큼 아이디를 증가시킴 단점 여러 데이터 센터에 걸쳐 규모를 늘리기 어려움 ID의 유일성은 보장되지만 시간 흐름에 맞춰 커지..

키-값 저장소 (key-value store)키-값 데이터베이스라고도 불리는 비 관계형 데이터베이스 고유 식별자(identifier)를 키로 가짐 키는 유일해야하며 해당 키에 매달린 값은 키를 통해서만 접근이 가능 키는 해시값이나 일반 테스트 모두 가능 성능상의 이유로 키는 짧을수로 좋음 키-값 쌍 (pair)키-값 사이의 연결관계 연산put(key, value) : 키-값 쌍을 저장소에 저장get(key) : 인자로 주어진 키에 매달린 값을 꺼냄 ex) 아마존 다이나모, memcached, 레디스 등   문제 이해 및 설계 범위 확정 요구사항 키-값 쌍의 크기는 10KB 이하 큰 데이터를 저장할 수 있어야 함 높은 가용성 시스템이 장애가 있더라도 빠르게 응답해야함 높은 규모 확장성 트래픽 양에 따라 자..

안정 해시 설계 수평적 규모 확장성을 달성하기 위해서는 요청 또는 데이터를 서버에 균등하게 전달하는 것이 중요    해시 키 재배치 문제 해시 함수N개의 서버에 부하를 균등하게 나누는 보편적인 방법ex) serverIndex = hash(key) % N 서버 풀의 크기가 고정되어 있을 때, 그리고 데이터 분포가 균등할 때는 잘 동작 서버 풀의 수가 변경되면 대부분의 키가 재분배되는 문제발생 서버 1개가 삭제되면 캐시 클라이언트가 데이터가 없는 엉뚱한 서버에 접속하게 됨    안정 해시 (consistent hashing)해시 테이블 크기가 조정될 때 평균적으로 k/n개의 키만 재배치하는 해시 기술k = 키의 개수 n = 슬롯의 개수   해시 공간과 해시 링 해시링해시 공간을 동그랗게 접어 만든 것 ex)..

처리율 제한 장치 (Rate Limiter)클라이언트 또는 서비스가 보내는 트래픽의 처리율을 제어하기 위한 장치 DoS(Denial of Service) 공격에 의한 자원 고갈을 방지 추가 요청에 대한 처리를 중단하여 비용 절감 자원을 아낄 수 있고 우선순위가 높은 API에 더 많은 자원을 할당 가능 서버 과부하를 막음  1단계 문제 이해 및 설계 범위 확정 어떤 종류의 처리 제한 장치를 설계해야 하는지 파악ex) 서버측 API를 위한 장치를 설계 호출 단위의 제한 또는 IP 주소 단위, 사용자 ID 단위 등의 제한 단위 파악 시스템 규모 파악 ex) 대규모 요청을 처리해야 한다면, 가능한 적은 메모리를 사용하고 빠르게 응답해야 함 시스템 환경 파악 ex) 분산 환경 처리율 제한 장치의 독립 서비스 여부..