[Use Case] The DDN IME14K - THE UNIVERSITY OF TOKYO

버스트 버퍼 솔루션"IME14K" - 고성능 컴퓨팅을 위한 공동센터(JCAHPC : the Joint Center for Advanced High Performance Computing) 파일 캐쉬 시스템 구축


도쿄대학 정보 기반 센터의 새로운 시스템 「REEDBUSH」

REEDBUSH 슈퍼 컴퓨터 시스템에 DDN 버스트 버퍼 솔루션인 IME14K-Lustre 고성능어플라이언스 병렬파일시스템 SFA14KE가 채택되었습니다. 본 시스템은 계산 노드군과 EDR IB 네트웍에 연결되어 209TB의 용량과 436.2GB/s의 데이터 전송 속도를 가진 고속 파일 캐쉬 시스템 및 5.04PB 용량과 75GB/s의 데이터 전송속도를 가지는 병렬파일시스템으로 제공됩니다.
이 슈퍼컴퓨터 시스템으로 과학 기술 계산, 그리고 빅데이터 분석과 Machine learning등의 새로운 분야에 사용됩니다.

JCAHPC(고성능 컴퓨팅을 위한 공동센터)의 새로운 시스템 : "Oakforest-PACS"

쓰쿠바 대학 계산 과학 연구센터와 도쿄대학 정보기반 센터에서 공동운영하는 JCAHPC 슈퍼컴퓨터 시스템에 당사의 IME14K와 SFA14KE가 채택되었습니다. 고속 파일 캐쉬 시스템 "IME14K"는  노드에 대해 940TB의 용량을 가지고있으며, 데이터 전송속도는 1.56TB/s입니다. 또한 병렬파일시스템 "SFA14KE"는 26PB의 용량을 가지고 있으며, 데이터 전송속도는 484GB/s입니다. "IME14K"와 SFA14KE"는 Intel@Omni path 아키텍처로 연결되며, FAT-Tree 본딩 된 8208개의 계산 노드사이에서 초고속 액세스와 광역 데이터 전송 성능을 제공합니다.
이 시스템은 총 피크연산 성능으로 'K Computer(Top500 5위, 2016년 현재)'의 약 2.2배의 25PFLOPS의 성능을 가지며, 2016년 12월에 서비스 예정입니다.
이 시스템으로 컴퓨터 과학 및 전산 과학의 협력을 지원하고, 대학 학술 연구 및 초고속 연산 처리기능의 광범위한 컴퓨팅 파워를 제공 할 것입니다.

DDN의 고속파일 캐쉬 시스템 "IME14K"

'IME14K'는 섀시당 두개의 노드, 각노드당 50GB/s의 읽기 및 쓰기의 성능을 제공합니다. 사용자는 분산 공유파일 캐쉬로 여러 시스템을 공유할 수 있습니다. IME14K는 최대 NVMe SSD 48개 드라이브로 하나의 RACK에 10대까지 확장(Scale up) 할 수 있으며 500GB/s Throughput, 55백만 random write IOPS를 제공합니다.


DDN의 고성능 블록 스토리지 "SFA14KE"

'SFA14KE'는 임베디드 파일시스템 옵션이 있는 고성능 블록 스토리지 입니다. 필요에 따라 확장 할 수 있으며 최대 44 RACK에 8.4PB까지 하나의 시스템으로 구성 할 수 있습니다. 설치 면적과 사용전력, 냉각비용을 절감 할수 있을 뿐만 아니라 관리의 복잡성도 줄일 수 있는 솔루션입니니다.


기대효과

"슈퍼컴퓨터의 연산 성능 향상 대비 병렬파일 시스템의 성능 향상은 완만하기 때문에 성능 격차를 해소하기위한 새로운 기술로 초고속 파일시스템 캐쉬를 도입했습니다. DDN IME14K는 네트워크 성능 및 스토리지 성능의 균형을 제공하고, OKAFOREST-PACS의 요구성능 1.5TB/s를 제공합니다. 컴퓨터 사이언스, 빅데이터분석, 기계학습과 등의 기술접목을 기대하고 있습니다." - Hiroshi Nakamura 도쿄대학교 정보기반센터장

 "도쿄대학과 쓰쿠바 대학은 과거 20년간에 걸쳐 HPC시스템의 설계, 운용에서 글로벌 리더로 자리매김했습니다. REEDBUSH시스템과 Oakforest-PACS 이니셔티브 재확인 및  HPC 시스템의 새로운 세대를 향한 포지션을 한층 향상시키고 있습니다. 오늘의 과학이나 연구분야에서 HPC와 빅데이터가 교차하는 부분에서 스토리지 및 I/O는 점점 중요한 요소가 되고있습니다. 우리는 이 흥미진진한 새로운 노력에서 두 대학과 긴밀히 연계해나갈것을 기대하고있습니다."  - Alex Bouzari DDN CEO

 관련자료
- IME14K
   http://www.ddn.com/products/infinite-memory-engine-ime14k/
- SFA14KE
   http://www.ddn.com/products/converged-storage-platform-sfa14k/
- REEDBUSH 소개
   http://www.cc.u-tokyo.ac.jp/index-e.html
- HPC기반시설 JCAHPC 보도자료
   http://jcahpc.jp/pr/pr-en-20160510.html

Media Contacts : DDN    - Michael King / Sr. Director of Marketing / mking@ddn.com / 408-419-2892
IGNITE Consulting, on behalf of DDN / Linda Dellett, 303-439-9398 / Kathleen Sullivan, 303-439-9365 / ddn@igniteconsultinginc.com
©2016 All rights reserved. DDN Storage, DDN, SFA7700X and WOS are trademarks owned by DataDirect Networks. All other trademarks are the property of their respective owners.

댓글

댓글 쓰기

이 블로그의 인기 게시물

DDN Storage 신제품 출시 소식

이미지
요약: DDN은 PCIe Gen4 기반의 SFA400NVX 어레이를 발표했습니다. 이 제품은 DDN의 스케일아웃 병렬파일시스템인 EXAScaler 어플라이언스 ES400NVX2/AI400X2로 제공됩니다. SFA400 제품은 이전 세대 대비 Write 대역폭이 25GB/s에서 64GB/s로 크게 증가했습니다. 새로운 시스템은 자연어처리/재무분석/제조 자동화/생산 시스템과 같은 AI 요구사항을 처리하도록 설계되었습니다. 원문: https://blocksandfiles.com/2021/11/17/ddn-turbo-charges-sfa-array-bandwidth/ DDN   has accelerated its SFA200 and SFA400 NVX arrays by up to 156 per cent by adding more and faster PCIe lanes and upgrading the controllers to Gen-3 Xeon Scalable Processors. These two block-access arrays share a common chassis (two rack units x 24 slots) which accepts 2.5-inch NVMe SSDs. Client access links have been upgraded as well, with faster base bandwidth. These systems are the foundation of DDN’s storage portfolio and are available as EXAScaler ES400NVX2 and ES200NVX2 scale-out, parallel file storage systems, as well as the recently announced  AI400X2  appliances. SFA400NVX2 Front Panel. DDN says the new systems are designed to handle the ...
자세한 내용 보기

DDN, 인텔의 Lustre 파일 시스템 인수

이미지
SANTA CLARA, Calif., June 25, 2018 — DataDirect Networks (DDN) today announced its acquisition of Intel’s Lustre File System business and related assets for undisclosed terms. This important acquisition reinforces DDN’s presence as the global market leader for data at scale, while providing Lustre customers with enhanced field support and a well-funded technology roadmap. The acquisition also enables DDN to expand Lustre’s leading position from high performance computing (HPC) and Exascale into high growth markets such as analytics, AI and hybrid cloud. DDN has spent the past decade developing and bringing to market some of the most advanced technologies for data processing at scale targeted at on premise or hybrid cloud environments, including DDN’s SFA OS Big Data embedded software, its distributed cloud and object technology, and more recently its IME software suite for flash, NVMe and GPU acceleration. The acquisition of Intel’s Lustre file system capability is a ...
자세한 내용 보기

DDN Storage Product

이미지
스토리지와 컴퓨터를 융합하는 Computing BigData Platform 단순 데이터의 보관을 위한 스토리지 개념은 현재 크게 변화하고 있습니다. DDN의 목표는 데이터의 라이프 사이클에 맞게 데이터를 입력(Ingest), 처리(Process), 저장(Store), 배포(Distribute)를 위한 새로운 빅 데이터 플랫폼의 구축입니다. 모든 것을 단일 플랫폼에서 실현함으로 데이터 정보 인프라, 데이터 관리, 그리고 데이터 센터의 TCO를 최소화 할 수 있습니다. 스토리지 엔진 2009년 DDN은 Storage Fusion Architecture (SFA)을 발표했습니다. SFA는 새로운 스토리지 엔진을 위한 아키텍처이며, S2A의 혁신을 한층 더 진화시킨 디자인으로 만들어졌습니다. 이는 빅데이터 전략의 근간이 되는 두 가지 아키텍처 요구사항을 제공합니다. (1)다양한 워크로드가 혼재된 환경에서의 성능 SFA스토리지는 실시간처리 성능뿐만 아니라, HDD 및 SSD에 최적화된 Low-deley 엑세스를 통해 업계 최고 수준의 IOPS성능을 실현하고 있습니다. (2) 데이터 보관과 데이터 처리를 융합한 스토리지 프로세싱 2009년, DDN은 업계 최초로 “인 스토리지 프로세싱”제품을 발표하였습니다. 스토리지 기능을 프로세싱 리소스로 받아들이는 기존 발상을 역전시켜 프로세싱 기능을 스토리지 자원에 넣었습니다. 이 획기적인 인 스토리지 프로세싱은 프로토콜 계층 자체를 없애며, 데이터 처리 지연을 줄일 수 있게되었습니다. 이 기술을 통해 외부 서버 및 네트워크 하드웨어가 필요 없으며 수십 페타 바이트 급 대형 스토리지의 복잡성과 비용을 크게 줄일 수 있습니다.  SFA 스토리지는 SAN, NAS 및 최적화 된 다양한 병렬 파일 시스템에 스토리지 액세스를 지원하며 압도적인 확장성 및 성능을 갖춘 스토리지 어레이 플랫폼입니다. 고도로 병렬화된 스토리지 처리 기술은 빅데이터 환경에 대응하는 IOPS와 처리량을 동시에...
자세한 내용 보기