[슫스레터] ‘나 지금… 뛰고 있니?’, 인공지능 혁신의 심장 AI 칩

AI 칩 업고 튈 3인방?

2024. 7. 22.

님, 안녕하세요? 서두석 프로예요🙋. 지난 상반기엔 인공지능부터 보안까지 IT 기술 분야별 큰 흐름을 짚어봤는데요. 앞으론 이러한 기술들이 어떻게 새로운 세상을 만들어 나갈지, IT 세계의 새로운 지평을 열, 높은 잠재력을 지닌 기술들에 대해 이야기해보려고 해요. 벌써 두근두근하죠~🧡?

7월의 주인공은 바로! 인공지능을 구현하기 위한 하드웨어인 ‘AI 칩’입니다. 최근 그 중요성이 부각되며, 다수의 기업들이 AI 칩 개발에 박차를 가하고 있는데요. 그 중에서도 GPU 기반의 AI 칩 시장에서 독보적인 위치를 차지한 엔비디아는 전세계에서 가장 비싼 기업에 등극하기도 했죠. 도대체 AI 칩이 무엇이길래 이리도 주목 받고 있는지, 오늘은 AI 칩의 세계에 대해 알아 볼게요🔍.

• 왔노라, 보았노라, 등장했노라!
• AI 칩 업고 튈 3인방?

• 빛나기만 하는 건 아냐, AI 칩의 어둠

• 왕좌에 오를 수수수수퍼노바?!

지난 2월 열린 세계정부정상회의(WGS 2024)에 AI 업계 거물들이 참석해서 이목을 끌었는데요. AI에 대한 전 세계적 관심과 수요가 기하급수적으로 증가하면서, AI 인프라를 운영하기 위한 컴퓨팅 파워, 전력 수급까지 부족해지고 있음을 피력했어요. 그들의 이야기를 들어볼까요👂?

“엔비디아는 지난 십 년간 백만 배 정도의 인공지능 처리능력 향상을 달성했다. 만약

컴퓨터가 더 이상 빨라지지 않는다면, 우리는 14개의 또 다른 행성과 3개의 다른 은하계,

4개의 더 많은 태양이 더 필요할지 모른다.” – 젠슨 황 엔비디아 CEO –

“AI 인프라 확대를 위해 5~7조 원의 투자가 필요하며, 핵융합 기술로라도 에너지 수급

해야 할 수 있다.” – 샘 알트먼 오픈AI CEO –

즉, 작업 처리 속도가 월등히 빠른 AI 칩이 필요하며, AI 칩의 발전이 없다면 우주에 존재하는 방대한 에너지를 낭비하게 될지도 모른다는 거에요⚡️. 왜 때문인 걸까요?

왔노라, 보았노라, 등장했노라!

우리는 데이터가 넘치는 세상에서 살고 있어요. 님의 메일함에 차곡차곡 쌓이는 슫스레터💌 역시 데이터죠. 이러한 수많은 데이터를 실시간으로 처리하고 분석하기 위해선 고성능의 하드웨어가 필요해요. 그 주역 중 하나가 바로 AI 칩이에요.

AI 칩은 인공지능 연산에 특화된 구조를 가진 반도체로, 기존의 범용 컴퓨터 프로세서인 CPU와 다르게 훨씬 높은 데이터 처리 능력과 에너지 효율을 자랑해요. GPU와 같은 AI 칩들은 여러 개의 작업을 동시에 처리하는 병렬처리능력이 매우 뛰어나거든요. 그럼 궁금해질 거에요. "AI에는 CPU말고 GPU 같은 AI 칩이 무조건 사용되어야 하나?" 정답은 NO에요❌!

CPU와 GPU는 컴퓨터의 주요 구성 요소로서, 둘 다 컴퓨터에서 명령을 처리하고 결과를 출력하는 역할을 하지만 둘의 구조와 특성은 크게 달라요. 이로 인해 각기 다른 작업 유형에 대해 최적의 성능을 발휘할 수 있죠.

CPU는 복잡한 명령어를 순차적으로 실행하고, 다양한 작업을 처리할 수 있는 프로세서인 반면에 GPU는 대규모 병렬 처리에 특화되어 있어, 대량의 데이터를 동일 작업으로 동시에 처리하는데 능하죠. 따라서, 사용자의 작업 유형과 필요에 따라 적절한 프로세서를 선택하는 것이 중요해요💡.

간단하게 말하자면, CPU는 마치 맥가이버 칼처럼 여러 가지 일을 두루두루 잘하는 친구이고, GPU는 전동드릴처럼 특정한 일에 아주 빠르고 능숙한 전문 도구 같다고 생각하시면 됩니다.

<계산-저장을 순서대로 반복하는 CPU의 동작 방식> 출처 : Google

<2,500~5,000개 산술 논리 장치로, 덧셈, 곱셈을 동시에 수행하는 GPU의 동작 방식>출처 : Google

AI 칩 업고 튈 3인방?🤟

• #1 GPU=엔비디아

이미 위에서 언급했지만, 현재 AI 칩의 절대강자는 GPU예요. 그리고 그 선두엔 엔비디아가 있고요. 사실 GPU라 쓰고 엔비디아라 읽어도 무방해요. AI 산업이 커지면서 엔비디아의 GPU가 주목받은 건지, 엔비디아의 GPU 덕분에(?) 커진 건지는이제 구분하기 어려워졌거든요.

GPU는 원래 그래픽 렌더링(*)을 위해 설계되었지만, 병렬 연산 능력 덕분에 딥러닝 모델(*) 훈련에도 적합해요. 딥러닝 모델은 대규모 데이터셋에서 학습되며, 이 과정에서 수많은 연산이 동시에 수행되죠.

* 그래픽 렌더링 : 컴퓨터에서 가상의 이미지를 만드는 과정으로, 컴퓨터 게임이나 애니메이션에서 보는 모든 장면은 그래픽 렌더링을 통해 생성됨.

* 딥러닝 모델 : 컴퓨터가 사람의 뇌처럼 생각하고 배울 수 있게 해주는 소프트웨어로, 입력된 데이터 바탕으로 패턴을 학습하고, 그 결과를 사용해 예측하거나 분류하는 작업을 함.

그런데 왜 다들 엔비디아만 찾을까요? 바로 엔비디아가 개발한 CUDA(Compute Unified Device Architecture) 기술 때문이죠. '쿠다'는 C언어를 포함한 프로그래밍언어로 GPU를 활용해 병렬처리를 할 수 있는 기술이에요. AI 연구에 중요한 텐서플로우(*)나 파이토치(*)도 이 기술을 바탕으로 작동해요.

엔비디아의 설명에 따르면, AI는 신경망 모델, 즉 여러 층의 방정식이 쌓인 '라자냐🥪’ 같은 구조를 가지는데요. 쿠다는 GPU의 수천 개 코어를 활용하여 복잡한수학적 문제를 여러 작은 부분으로 나누어 각각을 동시에 계산하죠. 그럼 전체 계산 속도를 크게 높일 수 있고, AI 연산 같은 무거운 작업을 효율적으로 수행할 수 있게 돼요.

* 텐서플로우(TensorFlow) : 구글이 만든 오픈 소스 라이브러리로, 데이터의 흐름을 표현하는방식을 사용해 다양한 수학적 연산을 처리. 주로 딥러닝과 같은 기계 학습 모델을 구축, 훈련하고, 최적화하는 데 사용됨.

* 파이토치(PyTorch) : 페이스북이 개발한 오픈 소스 머신러닝 라이브러리로, 간편한 프로토타이핑과 동적 신경망을 지원하는 것이 특징. 주로 연구자들이 새로운 AI 모델을 실험하고 개발하는 데 사용되며, 사용자가 모델을 쉽게 변경하고 실험할 수 있도록 설계됨.

<지난 10년 동안 AI 추론에서 GPU 성능 1,000배 증가. AI 추론이란, 이미 훈련된 인공 지능 모델을

사용하여 새로운 데이터에 대한 예측, 결정, 또는 분석을 수행하는 과정> 출처 : 엔비디아

이렇게 강력한 엔비디아가 더 큰 파워를 갖게 될 것 같아요. 지난 3월 ‘NVIDIA Blackwell GPU’ 신제품이 공개됐거든요. 블랙웰 GPU는 대만 TSMC의 4나노급 공정(4NP)으로 만든 반도체 다이(Die) 두 개를 연결해 만든 칩으로, 2080억 개의 트랜지스터를 집적한 형태예요. 다이 두 개는 초당 10TB(테라바이트)의 데이터를 주고 받으며 하나의 칩처럼 작동하죠. 이를 통해 이전 세대 대비 최대 25배 적은 비용과 에너지를 활용하게 되는데요. 조 단위의 거대 언어 모델에서 실시간 생성형 AI를 구축하고 실행할 수 있도록 지원해 줄 플랫폼이 될 거예요.

이미 아마존, 구글, 메타, 테슬라 등 수많은 빅테크 기업들이 엄지척👍하며 블랙웰을 도입한다며 했어요. 엔비디아는 이로써 인공지능 생태계를 무한 확장하겠단 포부를 내비치고 있어요.

• #2 구글도 있다! TPU

TPU(Tensor Processing Unit)는 구글이 만든 AI 칩이에요. 주로 구글 데이터센터에서 많이 사용되고, 높은 에너지 효율성과 빠른 처리 속도를 자랑해요. 구글은 딥러닝 모델링 작업을 가속화하기 위해 TPU를 자체 설계했는데요. 구글 검색 결과를 실시간으로 분석하거나, 구글 포토에서 사진을 정리하고 사물을 인식하는 데 사용되죠.
2016년 이세돌 9단과 세기의 바둑 대결을 펼친 알파고, 기억하시죠? 구글 딥마인드 팀이 만든 것이 알파고인데요, 당시 4대 1로 알파고의 승리🚩를 이끈 요인이 바로 TPU의 연산 능력 덕분이었죠.

• #3 차세대 AI 심장이라 불러줘! NPU

우리가 온전히 AI 세계에 스며들려면 매일 쓰는 스마트폰에서의 AI 기술이 중요해요. 그래서 주목받는 것이 NPU(Neural Processing Unit), 즉 신경처리장치인데요. 스마트폰과 같은 모바일 기기에서 AI 연산을 전담하는 칩이에요. 애플🍎은 A12 Bionic(*) 칩에 NPU를 탑재하여 실시간으로 사진을 처리하거나, 증강현실 기능을 개선하고, 페이스 ID로 유저 얼굴을 인식해 잠금 해제 등의 고급 기능을 구현하죠.

NPU는 특정 AI 작업을 수행하기 위해 설계된 만큼, 데이터를 즉시 처리할 수 있고 실시간으로 반응하는 기능을 갖추고 있어요. 또한 NPU는 큰 전력이 필요하지 않으며, 복잡한 설비가 없이도 작동 가능하죠. 앞으로 자율주행차량이나 인터넷 연결 장치(IoT), 자동화 시스템 등 다양한 분야로 사용 범위가 확대될 것 같아요.

* A12 Bionic : 애플이 설계한 모바일 프로세서로, 아이폰 XS, XS Max, XR 등에 탑재됨.

7나노미터 공정 기술로 제작되었으며, 향상된 그래픽 성능, 더 빠른 처리 속도, 그리고 효율적인 에너지 사용이 특징.

• #4 기타 등등이라 하기엔 거대한 그 외 칩들

준 메이저급 칩 2개를 더 소개할게요. 바로 테슬라에서 개발한 AI 칩인 DOJO D1과 FPGA예요. 테슬라의 DOJO D1 칩은 슈퍼컴퓨터 도조의 운영에 사용되며, 대규모 AI 및 자율주행 신경망 훈련에 필요한 고성능 연산 능력을 제공해요. 초당 100경 번 연산이 가능한 1.1엑사플롭스급 성능을 갖춰 테슬라 자율주행 AI의 두뇌 역할을 하죠. 그리고 FPGA(Field-Programmable Gate Array)는 GPU와 달리 필요에 따라 설계를 수정하고, 특정 애플리케이션에 맞춤화하여 사용할 수 있어요.하지만, 이러한 장점에도 불구하고 전력 소모가 크고 소형화가 어려워 특정 상황에서만 사용되는 경향이 있어요.

"지피유, 티피유, 엔피유~ 나는 젊은피유~~ 후훗!

빛나기만 하는 건 아냐! AI 칩의 어둠

지금까지 AI 칩의 장밋빛 미래, 이를 이끌 주역들을 살펴봤는데요. 위에서 잠깐 언급된 FPGA 칩의 단점이 보여주듯, 기술 발전이 가져올 수많은 혜택과 동시에 직면해야 할 도전 과제들도 산적해 있어요.
먼저, AI 칩을 만드는 데에는 엄청난 비용💰과 높은 기술력이 요구돼요. 또한 복잡한 제조 인프라도 필수적이죠. 이런 이유로 대부분의 AI 스타트업들은 자체적으로 AI 칩을 개발하는데 어려움을 겪고 있어요. 이것이 바로 엔비디아가 계속해서 독보적인 위치를 유지하고 있는 이유이죠.

두 번째는 AI 칩이 발생시키는 열을 관리하는 문제예요. 고성능 연산으로 인해 발생하는 열을 효과적으로 관리하지 못하면, 기기의 성능 저하나 손상을 초래할 수 있어요. AI 칩의 설계뿐 아니라 데이터센터의 냉각 시스템 설계에도 많은 주의가 필요하다는 사실! 특히 이러한 부분이 환경파괴를 일으킨다는 인식이 있기 때문에 관련 기업들의 대응책이 필요해요😢.

마지막으로, AI 칩과 애플리케이션 간 호환성 문제예요. 엔비디아는 생성형 AI에서 쿠다와 cuDNN(*) 같은 최적화된 소프트웨어 플랫폼과 라이브러리로 1위 자리를 고수하고 있어요. 그러나 한 기업의 독주가 계속된다면 AI 칩 산업은 정체될 수 있어요. 시장이 활성화하고 발전하려면 표준화된 인터페이스와 호환성을 보장하는 방향으로 점점 변화가 필요해요.

* cuDNN : CUDA Deep Neural Network library의 약자로, 엔비디아에서 개발한 딥러닝 라이브러리

왕좌에 오를 수수수수퍼노바?!

현재 AI 칩 시장 상황을 정리 해보면,

· AI 칩 시장을 두 손 가득 꽉 쥐고 있는 절대강자 엔비디아가 있고,

· 엔비디아의 독점을 견제하는 AMD, MS, 구글 등이 AI 칩 표준화 작업을 진행하고 있으며,

· Sambanova나 Xilinx같은 AI 칩 전문 스타트업이나 기업들도 경쟁에 뛰어들고 있어요. 이렇게 경쟁이 치열해지면서 AI 칩 시장은 학습과 연산을 위한 논리회로와 고대역폭 메모리를 한데 집적하거나, 기존의 폰 노이만 방식(*)을 벗어나는 창의적 설계를 시도하고 있어요. 하지만 AI 분야의 과감한 투자에도 불구하고 아직 뚜렷한 수익이 나오지 않는 상황이기에, 과연 과도한 경쟁만이 답일까 라는 의문이 들긴 해요🧐. 이처럼 AI 칩은 AI 시대의 핵심 기술로서, 다양한 응용 분야에서 혁신을 주도하고 있어요.

*폰 노이만 방식 : 대부분의 컴퓨터 시스템이 사용하는 구조로, 데이터를 처리하는 CPU에 데이터를 순차적으로 보내서 처리하는 방식. 그러나 데이터를 주고받는 과정에서 병목 현상 발생으로 처리 속도가 느려진다는 것이 단점.

과연 누가 승기를 잡게 될까요? 끝날 때까지 끝난 것이 아니란 말이 있듯😏 선택된 AI 모델과 학습 방법에 따라 GPU가 아닌 TPU가, 또는 loT 시대를 맞아 수억 개의 디바이스에 AI를 심는 NPU가 우위를 차지할 수 있어요. 갓비디아로 불리는 엔비디아가 누군가의 혁신적 기술 개발로 1위 자리를 내줄 수도 있고요. 결국 AI 칩을 손에 쥔 자, 혁신적인 AI 모델을 개발한 자, 또는 방대한 데이터를 보유한 자 중 누가 왕이 될지는 미지수지만, 확실한 건 AI 칩이 인공지능 시대의 든든한 기반으로 자리 잡을 것이라는 점이죠.

향후 AI 칩의 발전은 우리 사회와 기술의 미래를 결정할 중요한 열쇠가 될거고, 이 칩들이 어떤 방향으로 발전할지, 그리고 우리가 어떤 선택을 하느냐에 따라 인류의 다음 큰 도약이 좌우될 거예요.

지난 호에서 많은 분들이 애정이 담긴 피드백을 많이 남겨주셨는데요!👀 주제 선정이 너무 좋아서 상무님과 팀점때 이야기를 할 거라는 구독자도 계셨고, 다양한 분야를 소개해줘서 폭 넓게 IT 이슈들을 알아갈 수 있었다, 공부하는 데 많은 도움이 된다 등 따뜻한 피드백을 받아보니 감사한 마음이 휘몰아쳐 감동이 북받쳤답니다😍. 반대로 쓰디쓴 피드백도 저희가 개선해야 할 점이라 생각하고 경건하게 받아들이고 있어요! 어떤 피드백이든 구독자분들이 남겨주신 애정 어린 에너지를 전달받아 앞으로 더 많은 분들이 저희 슫스레터를 통해 좋은 정보들을 가져가실 수 있게 앞으로도 재밌고 양질의 내용으로 보답할게요🧡!

이번 슫스레터는 어떠셨나요? 혹시 어려운 부분은 없었나요? 저희 3명의 멘토들에게 하고 싶은 말이나 개선되었으면 하는 부분 등이 있다면 피드백 남겨주세요. 님의 소중한 시간을 내어주셔서 자유롭게 작성해 주신 피드백은 저희 3명의 멘토들이 더 나은 슫스레터를 만드는데 아주 많은 도움이 된답니다😉.

피드백을 남겨주신 분들께는 감사의 마음을 담아 추첨을 통해 선물도 드려요!

🎁 선물 : 스타벅스 오늘도 달콤하게(ICE) (10명)
📌 이벤트 기간 : 7/22(월) ~ 7/28(일)
📌 당첨자 발표 : 7/31(수)

좋았어요🥰

아쉬워요😐