HPC 엠키스코어

개요

HPC

HPC(High Performance Computing)는 과학, 엔지니어링 또는 비즈니스상의 큰 문제를 해결하기 위해 일반적인 데스크톱 컴퓨터나 워크스테이션보다 훨씬
높은 성능을 제공하는 방법으로 컴퓨팅 파워를 집약하는 방법을 말합니다

HPC 시스템은 초당 최대 30억 개의 계산(3GHz 프로세서 사용)을 수행할 수 있는 일반 랩톱 또는 데스크탑과 비교하여 초당 수천억 개의 계산을 수행할 수
있어야 하므로 고성능 컴퓨팅이 필요합니다. 일반 랩톱 또는 데스크탑에서는 불가한 cluster 구성 및 대형 Job의 분산처리를 위해서는 전용 HPC 시스템 구축이 필요합니다.

HPC는 연구실, 인공지능(AI)과 기계학습(ML), 항공우주, 제조, 금융기술, 유전체학, 헬스케어, 미디어 및 엔터테인먼트, 석유, 가스등의 산업에 활용되고 있습니다

Computing HPC

CPU가 장착된 Node들로 구성된 HPC 환경으로 범용 연산을 위한 CPU의 모델, Clock 속도, Core 수에 의해 성능이 좌우됩니다.

AI/ML HPC

GPU가 장착된 Node들로 구성된 HPC 환경으로 InfiniBand 설계가 가장 중요합니다.

InfiniBand 구성의 Topology 및 Blocking 설계에 따라 HPC 시스템 성능의 큰 영향을 줍니다..

Compute	Node라고 불리어지는 CPU, GPU Processor 탑재 된 서버
Interconnect Network	Interconnection 방식
Storage	대용량 실험 데이터, 워크로드 Tool 및 분석 결과 저장
Scheduler	Compute Node의 job을 관리하는 Software
Monitoring	Compute Node, Network, Storage가 최적의 상태로 운영중인지 실시간 모니터링
Software Porting	PC 환경에서 워크로드를 실행하기 위한 환경 설정
* 6개의 HPC구성요소가 최적의 상태로 구성될 떄 HPC는 최상의 성능을 제공합니다.

Compute(Server)

Interconnect Networking

Storage

전통적인 Storage는 Storage Box의 Controller, Storage간 연결의 Back-end Network(SAN or SAS)의 규격에 따라 성능이 좌우 됩니다.

HPC에서 사용하는 Storage는 NVMe, SAS, SATA Type의 Disk가 장착된 Linux 서버로 구성되며 InfiniBand 또는 Ethernet으로 서버간 연결을 통해 무한 확장이 가능하고 Throughput도 InfiniBand 용량으로 처리가 가능합니다.
여러 서버에 장착된 Disk는 Filesystem 솔루션에 의해 Block Device 또는 Object Device로 구성하여 cluster 환경에 적합한 filesystem type을 제공합니다.
엠키스코어는 ceph, lustre, HPFS(GPFS) Filesystem을 제안 드립니다.

Scheduler

Computing nodes가 과부하가 되지 않도록 유지하고 리소스를 사용할 수 있을 때까지 작업을 보류하는 기능과 사용량을 모니터링 하여 HPC리소스를 공정하게 분배하여 특정 사용자 또는 그룹이 computing nodes를 장기간 독점하는 것을 방지합니다.

모니터링

HPC는 전력, 온/습도에 민감한 시스템으로 기존의 모니터링 시스템에서 데이터를 수집하는 서버, 네트워크를 벗어나 서버룸의 facility까지도 모니터링 대상에 포함되어야 합니다.
GPU의 경우 Inlet 온도가 높아지면 100% 성능이 발휘되지 않는 사실을 알고 계신가요?
사용자들은 HPC 시스템을 사용하기 위해 Queue에 대기하고 있는 상황에서 전력 및 온/습도의 외부 요인으로 Job이 정상적으로 수행되지 않는 일은 없어야 합니다.
HW Fault는 없지만 PCI slot의 Downgrade, GPU Error로그 등 인지되지 않지만 성능을 저하시키는 항목을 정의하고 데이터 수집 및 Alert을 통해 문제를 인지하고 신속한 대응이 이뤄질 때 HPC는 최적의 성능을 제공할 것입니다.

Software Porting

MKISCORE