CPU 중심이던 컴퓨터 산업을 GPU·병렬 컴퓨팅 시대로 뒤집어 놓은 사람, 젠슨 황(Jensen Huang)과 엔비디아의 이야기.
1장. 젠슨 황의 성장·전공·초기 커리어
1) 어린 시절과 미국 이민
젠슨 황은 대만에서 태어나 어린 나이에 가족과 함께 미국으로 이주했다. 아시아와 미국을 모두 경험한 이력 때문에, 그는 “이방인”으로서의 시선과 “기회를 잡는 이민자”의 태도를 동시에 갖게 된다. 이후 기숙학교, 식당 아르바이트 등을 거치며 비교적 거친 환경에서 성장했고, 이런 경험은 훗날 “위기에 강한 CEO”라는 이미지로 이어진다.
2) 전기공학 전공 선택 이유
대학에서는 오리건 주립대학교에서 전기공학(Electrical Engineering)을 전공했다. 당시 컴퓨터 산업이 커지고 있었고 반도체·디지털 회로 분야가 급성장하던 시기였다. 젠슨 황은 “미래 산업의 중심이 될 기술”을 배우기 위해 전기공학을 선택했고, 이 선택은 이후 GPU 아키텍처·칩 설계 철학을 이해하고 이끌어 가는 기반이 된다.
3) AMD·LSI Logic에서의 엔지니어 경력
졸업 후 그는 반도체 기업 AMD와 LSI Logic에서 엔지니어로 일한다. 이 시기에 그는 칩 설계, 로직 설계, 시스템 아키텍처를 실제 제품 수준에서 경험하게 된다. 단순한 연구가 아니라, 실제 시장에 나가는 상용 칩을 설계하면서 “가격·성능·전력·수율”을 동시에 고민해야 했고, 이는 훗날 엔비디아 GPU를 설계할 때 경쟁사보다 한 발 앞선 결정을 내리는 힘이 된다.
4) 기술자에서 전략가로 변한 결정적 순간
젠슨 황은 단순히 회로를 설계하는 엔지니어에 머무르지 않았다. 고객과의 미팅, 시장 요구, PC·게임 산업의 성장 방향을 직접 보면서 “어떤 칩을 만들 것인가”라는 전략적 질문을 품기 시작한다. 이때부터 그는 “CPU만으로는 미래의 멀티미디어·그래픽 수요를 감당할 수 없다”는 문제의식을 갖고, 별도의 병렬 프로세서에 대한 아이디어를 키워간다.
2장. 엔비디아 창업 배경과 비전
1) 1990년대 초 멀티미디어·그래픽 시장의 변화
1990년대 초, 개인용 PC 성능이 올라가면서 게임·그래픽·멀티미디어 수요가 폭발적으로 증가하기 시작했다. 하지만 대부분의 연산은 여전히 CPU 하나에 몰려 있었고, 고해상도 3D 그래픽을 부드럽게 처리하기에는 한계가 분명했다. 젠슨 황은 바로 이 지점을 “새로운 칩 시장”으로 보았다.
2) CPU로는 불가능한 병렬 연산 문제 인식
3D 그래픽은 수많은 픽셀·폴리곤·벡터를 동시에 계산해야 한다. CPU는 소수의 강력한 코어로 직렬 연산에 특화되어 있기 때문에, 구조적으로 이런 병렬 작업에 불리하다. 젠슨 황은 “그래픽·과학 연산·시뮬레이션을 위한 병렬 연산 전용 칩이 필요하다”고 판단하고, 이를 비즈니스 기회로 본다.
3) ‘비주얼 컴퓨팅’이라는 새로운 산업 정의
엔비디아는 자신들의 영역을 단순한 “그래픽 카드 회사”가 아니라 “비주얼 컴퓨팅(Visual Computing) 회사”라고 정의했다. 즉, 화면에 그려지는 모든 시각 정보를 빠르고 정확하게 계산하는 것을 자신의 존재 이유로 삼은 것이다. 이 정의는 나중에 게이밍 → GPU 컴퓨팅 → AI · 시뮬레이션 · 디지털 트윈으로 이어지는 확장 전략의 뿌리가 된다.
4) 엔비디아 3명의 공동 창업자
1993년, 젠슨 황은 크리스 말라초프(Chris Malachowsky), 커티스 프리엠(Curtis Priem)과 함께 엔비디아(NVIDIA)를 설립한다. 세 사람은 각각 설계·시스템·사업 비전을 역할 분담하면서, “그래픽과 병렬 연산에 특화된 새로운 프로세서 회사”를 목표로 회사를 키워 나간다.
3장. 세계 최초 GPU의 탄생 – GeForce 256
1) GPU 개념의 정의: CPU에서 그래픽 계산 분리
1999년, 엔비디아는 GeForce 256을 출시하면서 이 칩을 “세계 최초의 GPU(Graphics Processing Unit)”라고 선언한다. 여기서 GPU라는 용어는 단순한 마케팅이 아니라, 그래픽·기하 연산을 CPU에서 독립된 프로세서로 완전히 분리했다는 의미를 가진다.
2) Hardware T&L 등장과 그래픽 처리 혁명
GeForce 256의 핵심은 Hardware Transform & Lighting(T&L) 탑재였다. 이전까지는 3D 모델의 변환(Transform)과 조명(Lighting) 계산을 CPU가 담당했지만, 이제 이 작업을 전용 하드웨어가 대신 처리하게 된 것이다. 그 결과 3D 게임·CAD·시각화 소프트웨어에서 프레임레이트와 품질이 크게 향상되었다.
3) 경쟁사 대비 엔비디아 구조의 차별성
당시에도 그래픽 가속 칩은 존재했지만, 엔비디아는 그래픽 파이프라인 전체를 전용 하드웨어로 옮기는 과감한 설계를 채택했다. 이로 인해 CPU는 운영체제·게임 로직 등에 집중하고, GPU는 렌더링·벡터·행렬 연산에 집중하는 역할 분담 구조가 명확해졌다.
4) GPU 탄생이 산업에 미친 영향
GeForce 256 이후 “GPU”라는 개념은 업계 표준이 된다. 다른 반도체 기업들도 GPU 시장에 뛰어들었고, 게이밍·그래픽·멀티미디어 시장 전체가 GPU 성능 경쟁으로 재편된다. 이때부터 엔비디아는 단순 부품 공급업체가 아니라, “PC 성능의 기준을 정하는 회사”로 인식되기 시작한다.
4장. 병렬 컴퓨팅 철학: 젠슨 황이 본 미래
1) “세상의 데이터는 본질적으로 병렬적이다”
젠슨 황의 핵심 신념 가운데 하나는 “세상에 존재하는 많은 문제는 병렬적으로 계산할 수 있다”는 것이다. 영상, 이미지, 신호 처리, 물리 시뮬레이션, AI 모델 연산은 모두 작은 연산을 동시에 수없이 반복하는 구조다. 이는 곧 GPU 구조와 정확히 맞아떨어진다.
2) GPU 아키텍처 설계 철학
CPU가 소수의 강력한 코어에 집중한다면, GPU는 수천 개의 코어가 동시에 단순 연산을 반복</strong하도록 설계된다. 이렇게 하면 한 번에 처리할 수 있는 연산량이 폭발적으로 늘어나고, 특히 행렬 곱셈·벡터 연산이 많은 작업에서 압도적인 속도를 낼 수 있다.
3) 직렬 vs 병렬: CPU와 GPU의 역할 분리
젠슨 황은 CPU를 “복잡한 의사결정·분기·OS 운영”에 적합한 프로세서, GPU를 “단순 연산을 많이 반복하는 작업”에 최적화된 프로세서라고 본다. 이 철학에 따라 엔비디아는 CPU와 경쟁하기보다는, CPU를 보완하는 가속기(accelerator)로 GPU를 포지셔닝했다.
4) AI 시대에 적중한 병렬 철학
이후 딥러닝·대규모 언어모델(LLM)이 등장하면서, “행렬 연산을 무한히 반복하는 AI”는 GPU와 완벽하게 맞아떨어진다. 병렬 컴퓨팅을 미래로 본 젠슨 황의 철학은, AI 붐이 오면서 그대로 현실화되었다고 볼 수 있다.
5장. CUDA의 개발과 AI 생태계 독점
1) GPU 프로그래밍을 가능하게 한 CUDA의 등장
2006년, 엔비디아는 CUDA(Compute Unified Device Architecture)를 발표한다. 이는 GPU를 단순한 그래픽 전용 장치가 아니라, 범용 병렬 컴퓨팅 플랫폼으로 사용하는 첫 시도였다. 개발자는 C/C++ 같은 언어로 GPU용 코드를 작성할 수 있게 되었고, GPU는 곧 “그래픽 + 과학·공학 계산”을 동시에 담당하는 장치로 변신했다.
2) cuDNN·TensorRT·Omniverse로 이어진 플랫폼 전략
엔비디아는 여기서 멈추지 않았다. cuDNN으로 딥러닝 핵심 연산을 가속하고, TensorRT로 AI 추론 성능을 최적화했으며, Omniverse로 디지털 트윈·시뮬레이션·로봇 훈련을 위한 플랫폼까지 확장했다. 하드웨어뿐 아니라 소프트웨어·개발자 생태계 전체를 묶는 전략이다.
3) 왜 AI 연구자들은 CUDA에 락인됐는가
딥러닝 붐이 본격화된 2010년대 초, 많은 연구자들이 PyTorch, TensorFlow와 함께 엔비디아 GPU를 사용하기 시작했다. 이유는 단순하다. CUDA + cuDNN이 가장 빠르고 안정적이었기 때문이다. 수많은 논문·코드·라이브러리가 CUDA를 기준으로 쌓이면서, 다른 플랫폼으로 옮기는 비용이 너무 커져 버렸다.
4) AI 붐(AlexNet 2012 이후)과 CUDA의 폭발적 확장
2012년, AlexNet이 이미지넷 대회에서 압도적인 성능을 보여주면서 “GPU + CUDA” 조합은 사실상 딥러닝의 표준이 되었다. 이후 대다수 딥러닝 연구가 엔비디아 GPU 위에서 진행되었고, 엔비디아는 AI 산업의 핵심 인프라 기업으로 성장하게 된다.
6장. GPU vs TPU vs 차세대 AI 칩 경쟁
1) 구글 TPU의 등장과 GPU와의 구조 차이
구글은 자사 서비스용 AI 연산을 위해 TPU(Tensor Processing Unit)라는 칩을 개발했다. TPU는 행렬 곱셈 같은 텐서 연산에 특화된 구조로, 클라우드 데이터센터에서 대규모 모델 학습과 추론을 빠르게 수행하도록 설계되었다. 반면 GPU는 게임·그래픽·과학 계산·AI 등 범용 병렬 연산에 맞춰져 있다는 차이가 있다.
2) H100·B200·TPU v5 성능 비교의 의미
최근 AI 칩 경쟁은 엔비디아 H100·B200과 구글 TPU v5 같은 데이터센터용 칩 중심으로 벌어지고 있다. 성능 수치(FLOPS), 메모리 용량, 대역폭, 전력 효율 측면에서 서로 다른 장단점을 가지지만, AI 프레임워크·생태계 측면에서는 여전히 엔비디아 GPU가 우위를 점하고 있다. 이는 CUDA 기반으로 쌓인 소프트웨어 스택과 개발자 커뮤니티의 힘 때문이다.
3) 엔비디아 텐서코어 전략
엔비디아는 Volta 아키텍처 이후, GPU 내부에 Tensor Core라는 AI 전용 연산 유닛을 넣어 FP16·BF16·FP8·INT8 같은 저정밀도 연산에서 폭발적인 속도를 제공하고 있다. 이는 대규모 언어모델과 이미지 생성 모델이 엔비디아 GPU에 최적화되는 핵심 이유 가운데 하나다.
4) 향후 AI 컴퓨팅 시장 경쟁 구도
앞으로의 AI 컴퓨팅 시장은 엔비디아 GPU + CUDA, 구글 TPU, 그리고 다른 기업들의 전용 AI 가속기가 경쟁하는 구도가 될 가능성이 크다. 하지만 이미 형성된 엔비디아 생태계를 단기간에 대체하기는 쉽지 않기 때문에, “엔비디아 중심 + 일부 특화 칩 병행” 구조가 상당 기간 이어질 것으로 보는 시각이 많다.
7장. 젠슨 황의 경영·철학·리더십
1) “장기 전략 중심” 경영 방식
젠슨 황은 단기 실적보다 10년 이상을 내다보는 장기 전략을 중시하는 것으로 유명하다. GPU·CUDA·AI 플랫폼 투자는 수년 동안 수익을 내기 어려운 사업이었지만, 그는 “병렬 컴퓨팅이 결국 표준이 될 것”이라는 확신으로 투자를 지속했고, 그 결과 AI 시대가 열렸을 때 엔비디아는 이미 준비를 마친 상태였다.
2) 엣지부터 데이터센터까지 하나로 묶는 플랫폼 전략
엔비디아는 게이밍 GPU, 워크스테이션, 자율주행용 SoC, 데이터센터 GPU, 로봇 플랫폼 등을 하나의 큰 플랫폼으로 묶고자 한다. 동일한 CUDA·AI 프레임워크를 어디서나 사용할 수 있게 하여, 개발자 입장에서는 “엔비디아 위에 올리기만 하면 되는” 구조를 만든 것이다.
3) GPU·AI·로봇·시뮬레이션 통합 비전
젠슨 황은 GPU를 단순한 그래픽·AI 칩으로 보지 않는다. 그는 로봇, 자율주행, 산업용 디지털 트윈, 공장 시뮬레이션, 3D 인터넷까지 모두 GPU 기반 시뮬레이션·AI 플랫폼 위에 올릴 수 있다고 본다. Omniverse와 로봇 시뮬레이션 플랫폼은 이러한 비전을 현실로 만들기 위한 프로젝트다.
4) 젠슨 황이 말하는 “가속 컴퓨팅의 시대”
그의 메시지는 일관된다. “CPU만으로는 더 이상 필요한 성능을 낼 수 없고, GPU 같은 가속기와 함께 쓰는 가속 컴퓨팅(accelerated computing)이 필수”라는 것이다. 이 철학을 바탕으로 엔비디아는 하드웨어·소프트웨어·플랫폼을 결합한 종합 컴퓨팅 기업으로 자리 잡았다.
결론. 엔비디아가 AI 시대의 표준이 된 이유
1) 기술·전략·철학의 결합
엔비디아의 성공은 단순한 기술 우위를 넘어, 병렬 컴퓨팅이라는 철학, GPU 아키텍처 설계 능력, CUDA 중심 플랫폼 전략이 결합된 결과다. 젠슨 황의 장기적인 시각이 없었다면 만들어지기 어려운 구조이기도 하다.
2) 후발주자가 따라올 수 없는 생태계 락인
수많은 AI 프레임워크·라이브러리·논문 코드가 이미 엔비디아 GPU·CUDA를 기준으로 쌓여 있다. 이는 새로운 경쟁자가 단순히 “더 빠른 칩”만 만든다고 해서 쉽게 시장을 뒤집을 수 없다는 것을 의미한다. 하드웨어보다 소프트웨어·생태계가 더 큰 진입장벽이 된 셈이다.
3) GPU에서 AI 플랫폼 기업으로의 진화
엔비디아는 이제 단순 GPU 제조사가 아니라, AI 연구·산업용 시뮬레이션·로봇·자율주행까지 아우르는 종합 플랫폼 기업이 되었다. GPU 시대를 연 젠슨 황의 선택은, AI 시대에 엔비디아를 “표준 인프라 기업”으로 만들었다고 볼 수 있다.
GPU와 병렬 컴퓨팅의 시대를 이해하고 싶다면, 젠슨 황과 엔비디아의 이야기는 그 자체로 하나의 교과서라고 할 수 있다.
