티스토리

lingi04
검색하기

블로그 홈

lingi04

lingi04.tistory.com/m

lingi04 님의 블로그입니다.

구독자
2
방명록 방문하기

주요 글 목록

  • 데이터 중심 어플리케이션 설계 - 6. 파티셔닝 데이터를 파티션으로 쪼개는 작업을 샤딩이라고 함. 파티셔닝의 주 목적은 확장성이다. 트랜잭션, 분석용 작업 부하 완화 파티셔닝과 복제 보통 복제와 파티셔닝을 함께 적용해 각 파티션의 복사본을 여러 노드에 저장한다. 한 노드에 여러 파티션이 속할 수 있다. 키-값 데이터 파티셔닝 파티셔닝을 해도 데이터가 고르게 분포되지 않아 특정 파티션이 다른 파티션보다 데이터가 많거나 질의를 많이 받을 수 있다(skewed 됐다고 함). 불균형하게 부하가 높은 파티션을 핫스팟 이라고 하는데 이런 현상이 발생한다면 파티셔닝의 효과가 매우 떨어지게됨. 키의 범위 기준 파티셔닝 백과사전 처럼 A~B, C~D, D~F, …, T~Z 각 파티션 내에선 키를 정렬된 순서로저장할 수 있다. 키 범위기준 파티셔닝은 특정한 접근 패턴이.. 공감수 0 댓글수 0 2023. 12. 26.
  • 데이터 중심 어플리케이션 설계 - 5. 복제 복제: 네트워크로 연결된 여러장비에 동일한 데이터의 복사본을 유지한다는 의미 노드 간 변경을 복제하기 위한 세 가지 인기 있는 알고리즘(단일 리더, 다중 리더, 리더없는 복제)가 있으며 이번 장에서 살펴볼것임. 리더와 팔로워 데이터베이스의 복사본을 저장하는 각 노드를 복제 서버라고 함. 그 중 하나를 리더(마스터 or 프라이머리), 나머지를 팔로워(복제 서버, 슬레이브) 라고 함. 클라이언트는 리더에 쓰기 요청을 하고 리더는 로컬 저장소에 새로운 데이터를 기록. 리더는 복제로그나 변경 스트림의 형태로 팔로워에게 변경 내용을 전송, 팔로워는 복사본을 갱신. 읽기는 팔로워에게 질의 하지만 쓰기는 리더에게만 허용됨. 동기식 대 비동기식 복제 동기식 복제 : 팔로워1의 복제. 팔로워의 ok 메시지를 기다림 비동.. 공감수 0 댓글수 1 2023. 12. 26.
  • 데이터 중심 어플리케이션 설계 - 4. 부호화와 발전 애플리케이션은 필연적으로 시간이 지남에 따라 변한다. 애플리케이션의 기능을 변경하려면 저장하는 데이터(타입이나 스키마)도 변경해야 한다. 그런데 대규모 애플리케이션에선 데이터 타입이나 스키마의 변경을 즉시 반영할 순 없다. 그래서 데이터를 변경 할 때 하위 호환성과 상위 호환성을 지켜줘야 한다. 데이터 부호화 형식 데이터를 파일에 쓰거나 네트워크를 통해 전송하려면 바이트열의 형태로 부호화(직렬화, 마샬링)해야함. 반대는 복호화(파싱, 역직렬화, 언마샬링) 언어별 형식 프로그래밍 언어에는 객체를 부호화 하는 자체 라이브러리가 있지만 문제점들이 많아서 일반적으로 사용하지 않는것이 좋다. Json과 XML 이진 변형 xml 은 장황하다. json 은 xml 대비 단순하고 csv도 어느 정도 인기 있는 언어 독.. 공감수 0 댓글수 1 2023. 12. 26.
  • 데이터 중심 어플리케이션 설계 - 3. 저장소와 검색 데이터베이스의 두 가지 작업. 데이터 저장 데이터 제공 데이터베이스를 강력하게 만드는 데이터구조 간단한 디비를 생각해보자. 추가 작업은 간단하고 성능이 좋다. → 맨 뒤에 한줄 추가. 로그 형태 읽기 작업은 레코드 양이 비례하여 성능이 안좋아짐.(O(n)) 이에 읽기 성능을 끌어올리기 위해(특정 키의 값을 효율적으로 찾기 위해) 부가적인 메타데이터(색인) 을 유지한다. 부가적인 메타데이터를 유지하기 위하여 필연적으로 오버헤드가 발생함. 색인을 사용할지, 어떤 색인을 사용할지, 어떤 데이터를 색인 할지 트레이드오프를 잘 따져보고 선택해야함. 해시 색인 키-값 저장소로 대부분의 프로그래밍 언어에서 볼 수 있는 사전타입과 매우 유사. 해시색인의 간단한 예시 로그 형식으로 데이터를 저장한다고 가정 → 데이터가 .. 공감수 0 댓글수 1 2023. 12. 26.
  • 데이터 중심 어플리케이션 설계 - 2. 데이터 모델과 질의 언어 데이터 모델은 문제를 어떻게 생각해야 하는지에 대해서도 지대한 영향을 미친다. 관계형 모델과 문서 모델 관계형 모델 데이터는 관계(relation)로 구성 각 관계는 순서없는 튜플(tuple)의 모음 비지니스 데이터 처리에 근원이 있음. 요즘엔 웹에서 볼 수 있는 대부분의 서비스(온라인 게시물, 토론, 소셜 네트워크, 전자 상거래, 게임, SaaS)는 여전히 관계형 데이터베이스를 통해 제공 NoSQL 의 탄생 대규모 데이터셋이나 매우 높은 쓰기처리량 달성을 관계형데이터베이스보다 쉽게 할 수 있는 확장성 필요 무료 오픈소스 소프트웨어 선호 확산 관계형 모델에서 지원하지 않는 특수 질의 관계형 스키마의 제한에 대한 불만과 동적이고 표현력 풍부한 데이터 모델에 대한 바람 객체 관계형 불일치 임피던스(imped.. 공감수 0 댓글수 1 2023. 12. 26.
  • 데이터 중심 애플리케이션 설계 - 1. 신뢰할 수 있고 확장 가능하며 유지보수하기쉬운 애플리케이션 오늘날 많은 애플리케이션은 데이터 중심적 애플리케이션의 성능은 CPU 성능보다는 데이터의 양, 복잡도, 변화 속도에 영향을 받는다. 데이터 시스템 데이터베이스 : 데이터를 저장 캐시 : 읽기 속도 향상을 위하여 값비싼 수행 결과를 기억 검색 색인 : 사용자가 키워드로 데이터를 검색하거나 다양한 방법으로 필터링할 수 있게 제공 스트림 처리 : 비동기 처리를 위해 다른 프로세스로 메세지 보내기 batch 처리 : 주기적으로 대량의 누적된 데이터를 분석 데이터 시스템에 대한 생각 데이터베이스, 큐, 캐시 등 다른 범주에 속한 도구로 생각이 되지만 데이터 시스템이라는 포괄적인 용어로묶어야함. 분류간 경계가 흐려지고 있고 redis, apache kafka 많은 애플리케이션이 단일 도구로는 더 이상 데이터처리와 .. 공감수 0 댓글수 0 2023. 12. 26.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.