13일 한 매체에 따르면 인공지능(AI) 핵심 알고리즘 전문 연구기업 하인텔이 출판 전 학술 논문의 국제적 사전 공개 사이트를 통해 인공지능(AI)의 GPU 및 메모리 사용량을 줄이고, 결과적으로 과도한 학습 시간과 전력 사용량을 1/100가량 줄일 수 있는 방법을 ‘파인먼 경로적분을 이용해, 무한히 긴 문맥을 접어서 응축하는 트랜스포머(Folded Context Condensation in Path Integral Framework for infinite context transformers)’라는 제목으로 공개했다.
일정 수준 이상의 챗봇이나 생성형 AI를 만들기 위해서는 수천억 원에 달하는 고가의 슈퍼컴퓨터와 엄청난 학습시간, 전력 소모를 감당해야 한다.
이 같은 문제를 해결하고자 하인텔은 전통적인 컴퓨터과학 관점에서 벗어나, 주의기반 트랜스포머를 양자 역학적, 입자 물리학적으로 재해석했다. 현대의 입자물리학과 양자 역학에서는 전자와 같은 아주 작은 입자들의 정확한 위치와 운동을 파악할 수 없기에 특정 시점의 상태에서 다음 시점의 상태로 변화할 확률을 계산하는 데 집중했고 ‘파인먼 경로적분’이라는 방법을 사용했다.
하인텔은 수십 개의 계층으로 복잡하게 쌓인 트랜스포머의 동작이, 양자 역학에서의 미세 입자가 특정 시점의 상태에서 다음 시점의 다른 상태로 넘어갈 때 예측을 위해 사용되는 파인먼 경로적분의 미세 단계와 거의 같다는 것을 관찰해, 복잡한 트랜스포머의 동작을 단순한 물리학적 계산법으로 환원시켰다.
이를 통해 과거에 있었던 다수의 긴 사건 정보를, 소수의 상태 벡터로 압축할 수 있고, 결과적으로 많은 메모리를 사용하지 않고도 과거 기록과 문맥 정보 손실을 최소화할 수 있게 됐다.
글로벌에픽 증권팀 박진현 기자 epic@globalepic.co.kr