김주영 교수 연구팀은 세계 최초로 거대 인공지능 모델 GPT의 전과정(End-to-End) 수행이 가능한 가속 반도체인 LLM Processing Unit(LPU)을 개발하였으며, 설계된 가속기는 고대역폭 메모리(HBM)의 32개 메모리 채널의 대역폭을 최대한 활용하도록 설계하고 생성 AI에 특화된 매트릭스 연산 유닛과 벡터 연산 유닛을 집적함으로써 거대 인공지능 연산 시간을 획기적으로 단축하였습니다. 또한, 거대 인공지능 모델을 다수 개의 가속기로 효율적으로 분산할 수 있는 모델 병렬화 기술과 가속기 간의 데이터 동기화를 위한 P2P 네트워킹 기술도 함께 개발되었습니다. 다수 개의 LPU 가속기로 이루어진 서버 플랫폼은 공개된 GPT 모델에 대하여 GPU 서버 대비 최대 5.6배 성능, 4배 전력 효율성, 8배 가격 효율성을 달성하여, 컴퓨터 구조 최고 학회인 IEEE/ACM Microarchitecture(MICRO)에 2022년 채택되어 발표되었습니다. (논문명: DFX: A Low-latency Multi-FPGA Appliance for Accelerating Transformer-based Text Generation) 이어진 후속 연구개발로 반도체 설계 최고 학회인 IEEE/ACM Design Automation Conference(DAC)에서 2023년 Engineering Track Best Presentation Award를 수상하며 세계 최고의 기술력을 인정받았습니다. (발표명: Latency Processing Unit (LPU) for Acceleration of Hyperscale AI Models)

[그림 1: DAC 수상]

해당 연구는 국가적으로 취약한 시스템 반도체 분야에서 최근 화두가 되고 있는 거대 언어 모델을 가속할 수 있는 반도체 기술을 선제적으로 확보한 것에 의의가 있으며, 김주영 교수는 기술 사업화를 위해 2023년 1월 하이퍼엑셀을 창업하였습니다. 하이퍼엑셀은 거대언어모델(LLM)의 추론 가속화를 통해 생성 AI 기술의 발전과 인프라 구축을 지원하며, 반도체 칩, 서버, 그리고 IP 라이센싱까지 AI 반도체 분야의 혁신에 도전하고 있습니다. 반도체 칩 사업에서는 LPU라는 자체 개발 AI 반도체를 통해 초거대 생성형 AI 연산에 최적화된 메모리 대역폭과 AI 특화 로직을 제공하고 있습니다. 현재 개발이 완료되어 초기 생산 단계에 있으며, 주요 고객으로는 생성형 AI 서비스 제공 기업과 데이터센터 운영 기업이 있습니다. 향후 모빌리티, 로보틱스 등 On-Device 솔루션을 제공하는 기업들을 대상으로 ASIC 칩 판매를 확대할 계획으로 현재 삼성전자 최첨단 4nm공정으로로 칩 제작을 진행중에 있습니다.

[그림 2: LLM 특화 AI 반도체 LPU 개념도]

서버 사업에서는 2023년 11월에 출시된 AI 특화 서버인 자사 Orion 서버 제품을 통해 LLM 추론 가속화와 고성능 연산을 위한 컴퓨팅 인프라를 지원하고 있습니다. 현재 데이터센터(IDC) 운영 및 On-Premise 서버 구축을 지원하고 있으며, 글로벌 데이터센터 확장 및 클라우드 서비스 제공을 목표로 하고 있습니다.

[그림 3: HyperAccel Orion 서버]