챗GPT로 시작된 다양한 AI 서비스들이 우리의 생산성을 향상시키는데 많은 도움을 주고 있는데
여기서 한 걸음 더 나아간 온디바이스 AI가 시장의 다음 화두가 되는 것으로 보입니다.
기기 자체에 장착된 AI를 말하는 온디바이스 AI가 업계에 활기를 불어넣을지 관심이 쏠리고 있는데
오늘은 온디바이스 AI란 무엇인지 그리고 반도체 시장의 영향에 대해 정리해 보도록 하겠습니다.
▷ 온디바이스 AI
▷ 반도체 시장의 영향
▷ 시장 전망
▷ 온디바이스 AI
업계 담당자 또는 전공자들 사이에서 익숙했지만 대중에게는 익숙치 않았던 이슈가 '온디바이스 AI'입니다.
삼성이 최초의 AI폰을 내놓겠다는 발표와 함께 대중적으로 알려졌으며 CES 2024에서 온디바이스 AI를 탑재한 가전제품, 서비스, 반도체 등이 공개되면서 온디바이스 AI가 메가 트렌드로 자리 잡았습니다.
온디바이스 AI란 클라우드나 서버를 거치지 않고 기기 자체에서 AI 서비스를 경험할 수 있는 것을 말합니다.
인터넷 연결 없이 챗GPT 같은 AI 서비스를 이용하거나 삼성 갤럭시 S24가 내세운 실시간 통역이 가능한 것도 바로 온디바이스 AI가 적용되었기 때문입니다.
사실 일반인의 입장에선 이게 얼마나 큰 혁신인지 와닿지 않을 수도 있습니다.
보통 AI가 데이터를 학습하고 연산이나 추론을 하려면 고성능, 고전력이 필수고 이를 위해 성능이 좋은 GPU나 메모리 반도체, 많은 데이터를 축적해 놓은 데이터센터 같은 것이 필요합니다.
그리고 기기에서 요청한 정보들이 중앙 서버로 전송되어 분석하고 이걸 다시 기기에서 받아보기 위해 인터넷 연결이 필수였습니다.
따라서 데이터의 양이나 인터넷 연결 상태에 따라서 AI 서비스의 품질도 영향을 받았습니다.
그러나 온디바이스 AI를 사용하면 중앙 서버로 요청을 주고받는 과정이 사라집니다.
말 그대로 기기 자체에서 요청한 데이터의 정보들을 처리할 수 있는 것인데, 이것이 가능할 수 있었던 것에는 반도체 성능의 진화가 바탕이 되었습니다.
데이터 센터와 연동 없이 기기 내에서 수많은 데이터를 즉시 처리하기 때문에 서버 지연 시간 등이 영향을 주지 않고 보안에도 강합니다.
사용자의 데이터를 외부로 전송하지 않고 기기 내에서 처리하기 때문입니다.
▷ 반도체 시장의 영향
온디바이스 AI 시대가 도래하면서 반도체 패러다임도 변화하고 있습니다.
온디바이스 AI를 위해서는 새로운 반도체인 신경망처리장치(NPU)가 필수인데, 이는 수집된 데이터를 데이터센터와 연동 없이 즉시 처리할 수 있는 저전력, 고성능으로 AI 연산을 처리할 수 있는 반도체를 말합니다.
이와 함께 AI 서버의 데이터 처리 능력을 뒷받침하기 위해서 이제는 메모리 반도체가 연산 일부를 대신해야 하는데
프로세싱인메모리(PIM)라고 부르는 PIM은 기존 메모리 반도체의 역할이었던 저장과 동시에 시스템반도체의 역할인 연산과 추론 일부를 동시에 수행하여 자연스럽게 데이터 전송 과정이 줄면서 처리 속도는 높아지고 전력 소모도 줄어듭니다.
따라서 업계에선 온디바이스 AI 기술 확산이 결국 맞춤 제작 AI 칩 수요 증가로 이어질 거란 예측이 지배적입니다.
올해 온디바이스 AI를 적용한 제품들이 빠르게 출시되면서 삼성전자와 SK하이닉스가 온디바이스 AI 시장을 새로운 메모리 시장으로 삼을 수 있을 거라는 기대도 나옵니다.
특히 AI 시스템의 성능이 어디까지 향상될 건지를 결정하는 것은 결국 메모리이기 때문에 온디바이스 AI에 특화된 메모리 반도체의 중요성은 더욱 커진 상황입니다.
SK하이닉스는 온디바이스 AI 기능을 적극 활용하는 킬러 앱이 나온다면 PC나 스마트폰 시장에서 메모리의 수요가 추가로 증가할 거라는 예측을 하기도 했습니다.
이와 함께 최근 오픈 AI CEO인 샘 올트먼이 탈엔비디아를 위해 TSMC와 우리나라를 방문한 것도 화제가 되었는데
우리나라에서 삼성전자, SK하이닉스 등을 만나며 AI 협력에 대한 논의가 상당 부분 진행된 것으로 알려집니다.
오픈 AI는 직접 AI 반도체를 제작하려고 하고 있는데 국내 업계에선 큰손이 방문했다는 기대감이 매우 컸습니다.
현재 오픈 AI는 엔비디아의 AI 연산용 GPU에 의존도가 매우 높은 반면에 수급량은 부족하여 가격만 치솟다 보니 오픈 AI가 계획하는 서비스를 도입하는데 여러 가지 문제점을 겪고 있습니다.
그래서 엔비디아 의존도를 계속 낮추려는 상황에 상당 부분 충족시킬 수 있었던 게 국내 업체들이었던 것으로 보이며
올트먼도 원래 6시간 일정으로 우리나라 방문을 계획했으나 일정을 1박 2일로 늘렸을 만큼 우리 기업과 긴밀한 이야기를 주고받은 것으로 보입니다.
▷ 시장 전망
지금 엔비디아는 AI 반도체 시장의 90% 이상을 장악하고 있고 대부분의 물량을 TSMC에 위탁하고 있습니다.
오픈 AI가 국내 기업에 AI 반도체를 대량 주문하면 반도체 시장 판도가 바뀔 수 있을 거라는 예측이 나오는 배경입니다.
그러다 당장 우리 기업들이 오픈 AI와 계약을 맺은 상황은 아니고 오픈 AI에서 자체 반도체를 제작하려고 미국 의회와 반도체 팹 건설도 논의 중인 것으로 알려지고 있습니다.
우리 기업 입장에선 잠재적인 경쟁 상대가 될 수 있는 것입니다.
엔비디아와 우리 기업들의 협력에도 부담이 될 수 있는데 현재 엔비디아가 국내 반도체 기업의 최대 고객 중 하나라는 사실과 오픈 AI와 협력이 강화되면 엔비디아와의 거래에도 영향이 있을 수 있기 때문입니다.
기회와 리스크가 공존하고 있어 앞으로 트렌드와 함께 득실을 잘 따져봐야 할 것으로 보입니다.