Cold Storage

 

1. 빅데이타 시대의 효율적 스토리지Cold Storage 정의와 등장 배경
   1. 정의
      1. 에너지 절감을 위해 낮은 가격과 저전력으로 자주 사용되지 않는 데이터를 처리하기 위한 저장 장치 및 시스템
   2. 등장 배경
      1. 대부분의 트래픽을 차지 하는Hot data와 별개로 사용량이 적은Cold Data데이터의 유지의 비용 문제 발생

   Facebook의 전체 사진 데이터 중에서 최근 업로드된 8%의 사진이 전체 사진 트래픽(photo traffic)의 82%를 차지하였다. 이로써 사용자가 자주 사용하는 데이터는 극히 일부분이지만, 데이터의 구분 없이 모든 서버는 동일하게 에너지를 소비하고 있다

    

2. Cold Storage 구성과 평가 요소

Cold Storage 에너지 절감을 위해 연산 능력에서 손해를 보더라도 낮은 가격과 저전력으로 자주 사용되지 않는 데이터를 처리하는 데이터 저장 장치 및 시스템 Hot data 자주 사용되는 데이터 Cold data 드물게 사용되거나 아예 사용되지 않는 데이터 Cold Storage architecture OCP에서 설명하는 Cold Storage의 구조는 <그림 4>과 같이 크게 2개의 블록으로 나눌 수 있다. 하나는 하드디스크 및 커넥터, 전원부, 랙 등이 포함된 하드웨어 블록이고, 다른 하나는 서버를 운영하고 cold data와 hot data를 관리하는 설루션이 포함된 소프트웨어 블록이다. 그림 4 Cold Storage 구조(OCP 기준)     Cold Storage 평가 요소   Power 전기를 사용하여 데이터 센터를 동작시키면 열이 발생하고 열은 시스템의 오동작을 발생시키므로 냉각 시스템이 필요다. 그렇기 때문에 전력은 데이터 센터에서 가장 제한적인 요소 중 하나다. 또, 특별한 운영 지침 없이 디스크를 항상 동작시켰을 때 소비되는 전력은 디스크 타입에 따라 한 도시의 최소 3년치 소비 전력을 초과할 수 있다. 기존 스토리지 설루션은 디스크를 항상 동작시켰고, 특별한 전력 관리 능력이 없었다. Capacity 스토리지 용량은 스토리지가 확보하고 있는 저장 공간의 크기로 정의할 수 있다. 데이터 센터에서 사용하는 데이터의 양은 점점 증가하므로, 스토리지 용량도 더 필요하게 된다. 이것이 스토리지 용량(capacity)이 전력(power), 비용(cost)과 함께 중요한 평가 요소로 언급되는 이유 중 하나다. Cost 전력 및 스토리지 용량 못지 않게 중요한 평가요소는 비용(cost)이다. 고성능 스토리지(storage)에서는 신뢰성(reliability)이 가장 중요한 기준이지만, 저성능 스토리지에서는 비용이 가장 중요한 기준으로 평가되고 있다. Retrieval time 데이터를 요청하고 제공받기까지 걸리는 시간을 뜻한다. 통상적으로 허용하는 검색 시간은 응용 프로그램마다 1μs부터 24시간까지 다양하다. Data access characteristics 데이터를 랜덤으로 접근(randomly access)하고, 병합하고, 수정하는 기술 및 특징은 디스크 종류와 데이터 저장 방식을 결정하는 데 영향을 미치므로 중요한 평가 요소 중 하나다. Availability/reliability 데이터를 보호하는 방식에 따라 저장 용량, 전력, 그리고 네트워크 대역폭이 추가로 얼마나 더 요구될 수 있는지 결정된다. Transactions 성능을 보장하기 위해서는 동작 한계를 알아야 한다. 비용과 성능은 선형적으로 비례하지 않는다. 성능이 높을수록 훨씬 더 고가의 시스템이다. Transaction period Cold data가 hot data로 전이하는 시간은 중요한 평가 요소다. 애플리케이션의 요청은 일반적으로 예측할 수 없으므로, 요청을 받은 후 cold data를 hot data로 전이한다. 그러므로 응답 시간이 전이 시간만큼 더 느려지게 된다. Identification 데이터를 cold data와 hot data로 분류하려면 기준이 필요하고, 이 기준을 결정 및 계산하는 방법이다.

 

1. Open Vault : OCP에서 제공하는 비용효율이 좋은 스토리지 서버(코드명 Knox)
2. Compute node : 실제 연산작업을 처리하는 파트
3. Open Rack : Open Rack = Open Vault x 16개 + compute node x 2개 + power supply unit
4. SMR HDD : spin-down 기능을 지원하는 SMR(shingled write magnetic recording) HDD
   기존 PMR기술의 한계로 더 이상 올리지 못하는 밀도 한계를 해결하기위한 기술

 

1. Cold Starage 현황과 활용
   1. OCP에서 Cold Storage 구조 공개, HDD 제조사들도 SMR 기술을 도입 신제품 계획

       

참고 원문 http://helloworld.naver.com/helloworld/526125