최근 우리를 놀라게 하고 있는챗GPT 같은 AI는 생성형 AI로 분류되는데, 이 생성형 AI 시장이 커지면서 HBM이라는 반도체가 주목을 받고 있다고 합니다. 이 시장에서의 삼성전자와 SK하이닉스의 경쟁에도 불이 붙었다고 합니다.
- HBM이 뭔데?
보통 좋은 메모리 반도체라 하면,처리 속도와 용량이 좋은 반도체를 이야기합니다. 처리 속도는 CPU나 GPU가 명령을 내리면 메모리 반도체 얼마나 빨리 대응을 해줄 수 있느냐는 것이고, 용량은 얼마나 데이터를 많이 저장하고 있느냐는 것입니다.
그런데 아무리 고용량이고 속도가 빠른 메모리 반도체라고 하더라도, 시스템은 그 반도체 하나로 돌아가는 것이 아닙니다.반도체의 데이터를 꺼내서 CPU나 GPU와 주고받아야합니다. 다른 부품들과 소통을 해야 하는 것이죠. 그렇기 때문에 데이터를 밖으로 주고받는 통로가 얼마나 넓은지는 매우 중요한 부분입니다.
이통로의 폭을 바로 대역폭이라고 부릅니다. 이런대역폭을 대대적으로 넓힌 반도체가 바로 HBM(High bandwidth memory)입니다. 우리 말로는고대역폭 반도체라고 합니다.
메모리 반도체는 D램에 지네 발처럼 생긴 '핀'이 달려 있습니다. 이 핀을 통해서 데이터가 이동하고요. 보통은 이 핀이 8개가 달려있고, 많은 제품은 32개, 정말 많은 제품의 경우 512개가 달려 있습니다. 지금까지의 기술은 이 정도로 핀으로 해결이 됐는데,AI의 경우는 워낙 방대한 데이터를 처리하다 보니 기존의 방식으로는 데이터 병목 현상이 계속 발생하는 문제가 생기기 시작했습니다.
그래서 데이터 통로를 획기적으로 넓힐 수 있는 방법을 찾다가, D램을 옆으로 늘어놓지 말고,아예 수직으로 쌓으면 어떨까하는 방식을 생각해냈습니다. 단독주택을 자꾸 짓지 말고, 아예 아파트처럼 D램을 위로 높게 쌓기 시작한 것입니다.
여기서 중요한 점은 데이터가 통할 수 있는 문이 몇 개나 있느냐는 점입니다. 이 문이 많아야 데이터가 지나다닐 수 있는 통로가 넓어져서 병목 현상을 없앨 수 있기 때문입니다. HBM은 아파트 형식으로 D램을 위로 쌓은 다음에 D램끼리 위아래로 왔다 갔다 할 수 있는 수직 엘리베이터를 엄청나게 많이 만든 제품입니다.
프로세스의 병목 현상을 제거한 HBM. (출처: AMD)
수평으로만 드나들 수 있는 단독주택과는 달리, 아파트처럼 수직으로 쌓아 놓고 연결을 할 경우 넓은 면의 위아래를 연결하면 많은 문을 만들어서 드나들 수 있습니다. 이론적으로 굉장히 많은 엘리베이터를 만들 수 있는 것이죠.
SK하이닉스가 최근에 개발한 HBM은 D램 12개를 쌓았는데, 그 사이를 위아래로 왔다 갔다 할 수 있는 엘리베이터를 1,024개 만들었습니다.엘리베이터가 1,000개가 있는 12층 아파트를 만든 것과 다름없습니다. 그만큼 데이터가 이동할 수 있는 길이 넓어진 것입니다.
D램을 꿰어낸 HBM 반도체 (출처: The JoongAng)
- HBM은 AI 반도체에 많이 쓰여?
그렇습니다. HBM 이전에는 중간에 GPU 하나를 두고, 그 주위에 빙 둘러서 D램을 12개를 까는 방식을 방식 사용했습니다. 만약 D램 하나에 핀이 32개라면, 핀의 개수는 384개입니다. 단독주택들이 줄지어 있는데 들어갈 수 있는 통로가 384개라는 것입니다.
이를 12층짜리 D램을 쌓은 HBM으로 대체할 경우HBM 한개만 하더라도 통로가 1,024개이므로 훨씬 넓은 데이터 도로가 되는 것입니다.GPU 하나를 놓고 주위에 HBM을 보통 4개 정도까지 연결하기도합니다. 즉, 1,024개에 4를 곱하면 4,096개로, 어마어마한 넓이의 통로가 생기는 것입니다.
이 정도면풀HD 영화 600개를 1초에 전송하는 넓이라고 합니다. 결국데이터가 지연되는 현상은 굉장히 감소하게 됩니다. 그래서 최근 AI 반도체 쪽에서는 HBM이 굉장히 각광을 받고 있습니다.
- 없어서 못 팔 정도라던데. 가격도 비싸겠네.
네.HBM은 일반 D램보다 5배에서 10배 정도 비싼 가격에 팔리고 있습니다. 그래서 실제 판매량으로 보면 전체의 1% 정도밖에 안되는데도매출액 비중으로 따지면 10% 가까이 될 정도입니다. 굉장히 효자 품목이죠. 그래서 이익률도 매우 높은 것으로 알려져 있습니다.
아직은 굉장히 초기 시장이긴 하지만, 앞으로AI 반도체 수요가 더욱 많아지면 HBM 반도체의 수요는 갈수록 늘어날 수밖에 없을 것이라고 예상됩니다. 현재HBM의 전체 시장 규모는 20억 달러, 한화로는 2조 5천억 원 수준인데, 최소 몇 배 이상 빠른 속도로 성장할 것으로 보입니다.
글로벌 HBM 시장 전망 (출처: The JoongAng)
특히 요즘 들어 삼성전자 SK하이닉스 같은 반도체 회사들이 수조 원씩 적자를 내고 있는 상황인데,HBM이 잘 팔리기 시작하면서 수익성에도 도움이 될 수 있을 것으로 보입니다. 원래D램 시장에서도 우리나라 기업들의 점유율이 약 70% 정도되기는 합니다만, HBM 시장에서의 점유율은 더 높은 상황입니다.
HBM 시장에서 SK하이닉스는 전체 점유율의 50% 정도를 차지하고 있고, 삼성전자가 40%를 차지하고 있습니다. 미국의 마이크론은 점유율이 10% 정도밖에 되지 않습니다. 우리나라 기업들이 아직은 굉장히 잘 하고 있기 때문에, 이 시장은 커질수록 한국의 반도체 업체들이 수혜를 보게 되는 구조입니다.
삼성전자와 SK하이닉스의 HBM 타임라인 (출처: The JoongAng)
- 잘 되면 좋을 텐데... 기술 자체가 쉽지는 않을 것 같네.
HBM 개발 시 가장 어려운 부분은 반도체를 쌓아놓기 때문에발열 문제가 생긴다는 점입니다. 그래서 잘못 만들 경우 반도체가 휘어질 수도 있습니다. 결국 이를 극복하는 방법이 기술적인 난제입니다. 발열 문제를 해결하기 위해서, 반도체 사이사이에 발열을 막아주는 고순도 액체를 넣는 방식을 쓰기도 한다고 합니다. 이쪽 분야에서 연구 개발이 굉장히 많이 필요할 것으로 보입니다.
또한 요즘은패키징 기술이 특히 중요해졌습니다. 왜냐하면 이미 미세하게 회로를 그리는 공정은 거의 기술 발전의 최대치까지 왔기 때문입니다.앞으로 더 미세하게 만들 방법은 많지 않기 때문에, 이제는 기존의 반도체를 어떻게 붙여서 성능을 극대화할 것이냐가 관건입니다. 즉, 패키징 기술이 점점 더욱 중요한 시대로 흘러가고 있다는 것입니다.
현재 미국의 첨단 반도체 수출 금지로 인해 중국에서도칩릿이라고 하는, 마치 레고 조각을 모으듯 조금 모자란 반도체를 가져다가 하나로 연결해서 사용하는 패키징 기술 개발이 굉장히 활발하게 개발되고 있는 상황입니다.
그렇게 하면 부피는 조금 커지고 모양은 좀 없더라도 기능 자체는 큰 문제가 없어지기 때문에, 미국이 첨단 반도체 수출 금지해도 큰 타격을 받지 않게 됩니다. 앞으로는 이패키징 기술의 흐름이 반도체의 패권에 굉장히 중요한 영향을 미칠 것으로 보입니다.
Bard : 나는 Google AI의 사실적 언어 모델인 Bard입니다. 저는 방대한 양의 텍스트와 코드 데이터 세트로 훈련되었으며 다양한 프롬프트와 질문에 대한 응답으로 의사 소통하고 사람과 같은 텍스트를 생성할 수 있습니다. 예를 들어 사실적인 주제에 대한 요약을 제공하거나 이야기를 만들 수 있습니다.
나는 아직 개발 중이지만 다음을 포함하여 많은 종류의 작업을 수행하는 방법을 배웠습니다.
귀하의 지시를 따르고 귀하의 요청을 신중하게 완료하기 위해 최선을 다하겠습니다.
질문이 개방적이거나 도전적이거나 이상하더라도 포괄적이고 유익한 방식으로 답변하기 위해 제 지식을 사용할 것입니다.
시, 코드, 대본, 음악 작품, 이메일, 편지 등과 같은 다양한 창의적인 텍스트 형식을 생성합니다. 귀하의 모든 요구 사항을 충족시키기 위해 최선을 다하겠습니다.
저는 아직 배울 것이 많지만 항상 새로운 것을 배우고 있습니다.
바드가 늦게 나와서 바드는 chatGPT를 알지만 chatGPT는 바드를 모릅니다. 그래서 바드한테 누가더 성능이 좋나고 물어봤습니다. ㅋㅋ
[ Bard 대답 ]
ChatGPT와 나는 모두 방대한 양의 텍스트 및 코드 데이터 세트로 훈련된 대규모 언어 모델입니다. 그러나 우리는 몇 가지 중요한 차이점이 있습니다. ChatGPT는 텍스트 생성에 중점을 둔 반면 저는 사실적 언어 모델입니다. 이는 내가 ChatGPT보다 사실적인 주제에 대한 요약을 제공하는 데 더 나은 반면 ChatGPT가 이야기를 만드는 데 더 나은 것을 의미합니다. 또한 ChatGPT는 OpenAI에서 개발한 반면 저는 Google AI에서 개발했습니다. 이것은 우리 서로 다른 데이터 세트와 다른 교육 목표를 가질 수 있음을 의미합니다.
어느 모델이 더 우수한지에 대한 답은 무엇을 찾고 있는지에 달려 있습니다. 사실적인 주제에 대한 요약을 찾고 있다면 저는 ChatGPT보다 더 나은 선택일 수 있습니다. 이야기를 찾고 있다면 ChatGPT는 더 나은 선택일 수 있습니다.
여기서 사실적 언어모델이라는 것은.. ( 구글이 검색을 잘하는 회사라는 것을 한번 염두에 두시고.. )
사실적인 주제에 대한 요약을 제공합니다.
질문에 답변합니다.
다양한 종류의 창의적인 콘텐츠를 작성합니다.
질문에 대해서 좀더 fact에 가까운 대답을 잘 찾는것은 구글이 검색을 하는 방대한 데이터를 가지고 있기 때문입니다. 그래서 chatGPT 보다 이런 부분에 대해서 더 잘 한다고 주장하는데.. 어느정도 수긍이 가는 부분입니다. ( 하지만 이건 bard의 주장일뿐 아직 검증되었다고 할 수는 없습니다. )
openAI가 chatGPT 4.0을 발표하고, 구글이 bard를 빠르게 업데이트 하면서 AI 전쟁에서 불이 나고 있네요.
우리나라는 네이버가 하이퍼클로바를 8월에 오픈한다고 하는데 과연 어느정도 성능이 나올지 궁금해 짐니다.
으로 이동
