본문 바로가기

데이터

(4)
데이터 중심 어플리케이션 설계 7장-트랜잭션 트랜잭션이 필요한지 어떻게 알 수 있을까? 이 질문에 답변하기 위해서는 아래 2가지를 이해하는 것이 중요하다 안전성 보장에는 어떠한 것들이 있는지? 어떠한 비용이 발생하는지? 이번 7장에서는 아래의 내용을 볼 것이다. 커밋 후 읽기(read committed), 스냅숏 격리(snapshot isolation), 직렬성(serializability) 같은 격리 수준 구현 방법 동시성 제어 종류와 경쟁조건 ACID의 의미 원자성(Atomicity) : 되거나 안되거나 일관성(Consistency) 일관성을 유지하도록 트랜잭션을 올바르게 정의하는 것은 애플리케이션 책임 여러가지 의미로 사용됨 (5장)에서 복제 일관성 (6장)일관성 해싱 (9장)CAP 정리에서 ACID 관점에서는 데이터베이스가 "good sta..
BigQuery-(1)빅쿼리란 BigQuery란? 엄청나게 큰 데이터에 대한 SQL 쿼리를 빠르게 수행해주는 google cloud platform의 서비스 중 하나 페타데이터(2^50TB, 데이터센터용 케비넷을 2개 채운느낌)에 달하는 데이터도 빠르게 분석 가능 자체 클러스터 구축 및 운영 필요 없는게 장점 Hadoop을 직접 구축한다면??... 데이터 분석에만 집중할 수 있어 많은 기업들에서 데이터웨어하우스로 많이 도입 아래 화면은 빅쿼리 실행 세부정보를 보여주는 화면이다. 실행시간(Elapsed time) : 1.8초 처리한 데이터량 : 3.9GB 슬롯시간(Slot time consumed) : 32.9초 슬롯이란? 빅 쿼리가 분산처리를 하는 단위 도대체 BigQuery가 빠른 이유가 무엇인가? Columnar Storage R..
7장. 트랜잭션 ( 데이터 중심 애플리케이션 설계 ) 보호되어 있는 글입니다.
1장. 신뢰할 수 있고 확장 가능하며 유지보수하기 쉬운 애플리케이션 [데이터중심 어플리케이션 설계] 데이터 중심 애플리케이션 설계 책을 읽게 된 계기 나는 아직 수백만명의 유저를 지닌 회사에서 일한 경험이 없다. 그렇기 때문에 수백만명의 사용자를 감당할 수 있는 데이터 시스템을 어떻게 만들어야 하는가? 애플리케이션이 고가용성을 갖추기 위해서는 어떻게 설계해야 하는가? 에 관한 지식이 없었고 이 책을 선택하게 되었다 데이터 중심 어플리케이션에서 공통으로 들어가는 요소들 데이터를 저장할 데이터베이스 읽기 속도 향상을 위한 값비싼 수행 결과를 기억하는 캐시 사용자가 키워드로 데이터를 검색하거나 다양한 방법으로 필터링할 수 있게 제공 ( 검색 색인 - search index ) 비동기 처리를 위해 다른 프로세스로 메시지 보내는 스트림 처리 ( stream processing ) 주기적으로 대량의 누적된 데이터..