우리기술이 지분을 보유한 하인텍의 AI 전력 100분의 1 절감 기술이 공개 발표를 한다는 소식에 강세를 보이고 있다.

14일 업계에 따르면 충남대 AI융합혁신대학원(사업단장 김영국 교수) 주관으로, "파인먼 경로적분을 이용해 무한히 긴 문맥을 접어서 응축하는 트랜스포머 "Folded Context Condensation in Path Integral Framework for infinite context transformers"의 발표 공개 세미나가 이날 오후 4시 충남대학교 공대5호관 607호에서 개최된다.

인공지능(AI) 핵심 알고리즘 전문 연구기업 하인텔이 출판 전 학술 논문의 국제적 사전 공개 사이트를 통해 인공지능(AI)의 GPU 및 메모리 사용량을 줄이고, 결과적으로 과도한 학습 시간과 전력 사용량을 1/100가량 줄일 수 있는 방법을 ‘파인먼 경로적분을 이용해, 무한히 긴 문맥을 접어서 응축하는 트랜스포머(Folded Context Condensation in Path Integral Framework for infinite context transformers)’라는 제목으로 공개했다.

일정 수준 이상의 챗봇이나 생성형 AI를 만들기 위해서는 수천억 원에 달하는 고가의 슈퍼컴퓨터와 엄청난 학습시간, 전력 소모를 감당해야 한다.

이 같은 문제를 해결하고자 하인텔은 전통적인 컴퓨터과학 관점에서 벗어나, 주의기반 트랜스포머를 양자 역학적, 입자 물리학적으로 재해석했다. 현대의 입자물리학과 양자 역학에서는 전자와 같은 아주 작은 입자들의 정확한 위치와 운동을 파악할 수 없기에 특정 시점의 상태에서 다음 시점의 상태로 변화할 확률을 계산하는 데 집중했고 ‘파인먼 경로적분’이라는 방법을 사용했다.

하인텔은 수십 개의 계층으로 복잡하게 쌓인 트랜스포머의 동작이, 양자 역학에서의 미세 입자가 특정 시점의 상태에서 다음 시점의 다른 상태로 넘어갈 때 예측을 위해 사용되는 파인먼 경로적분의 미세 단계와 거의 같다는 것을 관찰해, 복잡한 트랜스포머의 동작을 단순한 물리학적 계산법으로 환원시켰다.
이를 통해 과거에 있었던 다수의 긴 사건 정보를, 소수의 상태 벡터로 압축할 수 있고, 결과적으로 많은 메모리를 사용하지 않고도 과거 기록과 문맥 정보 손실을 최소화할 수 있게 됐다.

한편 업계에서는 구글, 오픈AI등 세계적 AI 기업들과 비교해도 매우 앞선 성과일 가능성이 있다고 전망하고 있다.

구글이 지난 4월 7일, 인피니-어텐션(infini-attention)이라는 이름으로 동일한 목적의 거의 유사한 방법을 아카이브(arxiv)에 논문으로 제시했으나, 하인텔 역시 2024년 3월에 이미 국내 특허를 출원한 상태이다.

글로벌에픽 증권팀 이성진 기자 epic@globalepic.co.kr