Code to AI

수년 동안 AI의 발전은 사전 학습 확장을 통해 명확한 궤적을 따라왔습니다. 더 큰 모델, 더 많은 데이터, 더 큰 계산 리소스는 획기적인 역량으로 이어집니다. 지난 5년 동안 사전 학습 확장은 컴퓨팅 요구 사항을 50M배라는 놀라운 속도로 증가시켰습니다. 그러나 더 지능적인 시스템을 구축하는 것은 더 이상 더 큰 모델을 사전 학습하는 것만이 아닙니다. 대신 모델을 개선하고 생각하게 만드는 것입니다. AI 모델을 전문화된 작업에 맞게 정제함으로써, 훈련 후 스케일링은 모델이 더 많은 대화형 응답을 제공하도록 개선합니다. 도메인별 및 합성 데이터로 모델을 튜닝하면 미묘한 맥락을 이해하고 정확한 출력을 제공하는 능력이 향상됩니다. 합성 데이터 생성에는 모델을 가르치는 데 사용할 수 있는 콘텐츠로서 상한이 없..

데이터 라벨링은 인공지능(AI)이 탄생시킨 대표적인 직업 중 하나로 꼽힙니다. 그리고 '단순 저가형 노동'이라는 이미지가 강했습니다. 20여년 전 처음 등장한 라벨링은 AI 모델에 학습할 데이터에 라벨(주석)을 붙이는 작업입니다. AI가 읽어낼 수 있도록 데이터에 설명을 붙이는 작업이라고 보면 됩니다. 국내에서는 지난 2022년 12월 ‘인공지능(AI) 학습데이터 구축’ 직무로 국가직무능력표준(NCS)으로 정식 인정됐습니다. 전문 기술이 필요 없는 비교적 단순한 작업인 데다, 일부 데이터에는 폭력적이거나 성적인 내용도 포함돼 있습니다. 그래서 저개발국가의 저렴한 인력을 사용하는 경우가 많고, 그 과정에서 담당 인력들이 정신적인 고통을 호소하는 사례도 보고됐습니다. 이를 두고 일부에서는 AI를 위한 노동력..

AI 반도체는 엔비디아로 시작해서 엔비디아로 끝난다는 말이 있습니다. 엔비디아는 AI 가속기 시장의 90% 이상을 점유하고 있습니다.  AI 반도체를 이해하기 위해 큰 그림 그림부터 보면, 우선  AI 데이터 센터가 있습니다.  AI 데이터 센터는 일반 데이터 센터와는 다른 목적을 가지고 있는데, 다음과 같은 일들을 처리하기 위함 입니다.  대규모 데이터 처리: AI는 ‘학습’을 통해 발전하며, 이 과정은 방대한 양의 데이터를 필요로 합니다. 예를 들어, 자연어 처리나 이미지 인식과 같은 고급 AI 기능들은 수많은 데이터 포인트를 처리하여 모델이 정확하게 작동할 수 있도록 훈련시킵니다. 이런 대량의 데이터를 효율적으로 처리하고 관리하기 위해서는 데이터센터의 역할이 중요합니다.AI 모델 훈련과 추론: AI..

요즘은 LLM(Large Language Model : 거대 언어 모델) 에서 LMM(Large Multimodal Model) 로 넘어가는 모양세 이다. VFM(Vision Foundation Modle) - 이미지 기반의 초거대 AI foundation model.  LMM = LLM + VFM 어떤 AI 모델은 Fundation 모델 자체가 멀티모달을 지원한다.  반면 어떤 AI 모델은 Fundation 모델은 LLM이지만, 이를 추가로 training 한 Fine-Tuning 모델을 만들어 강력한 멀티모달을 지원한다.  LLM 과 LMM의 차이는 아래와 같다. LLM LMM문자학습내용문자+이미지+영상+파일보고서 작성문서 검색 및 요약활용사례엑스레이 해독, 이물 표정 분석이미지 및 영상 제작텍스트로..

Update on : 2024/10/10 AI산업은 크게 두 개의 축으로 나눠 볼수 있습니다.  AI 모델을 개발해 초거대 AI 플랫폼을 구축하려는 빅 테크 기업 그런 AI 모델을 기반으로 하는 AI 응용 서비스를 개발하는 소규모 기업 여기서는  AI 모델에 대한 내용을 다루도록 하겠습니다.  AI모델이라 하면 LLM(Large Language Model : 대규모 언어 모델) 을 말합니다. LLM도 두가지 범주로 나눌 수 있는데, LLM 자체 엔진을 말하는 파운데이션 모델과 이를 미세 조정해 만든 파인튜닝 모델로 나뉩니다. 파운데이션 모델은 워낙 만들기가 어려워, 세계적으로도 그런 기술력을 지닌 업체가 손에 꼽을 정도입니다. 파운데이션 모델에서 미세조정을 거치면 여러가지 파인튜닝 모델이 만들어지게 되는..

HBM(High Bandwidth Memory)은 D램 여러개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능/초고용량 메모리 입니다. GPU 안에도 단기 기억 장치 즉 cache memory 가 있지만, AI 학습을 위한 매개변수를 모두 담기에는 턱없이 부족합니다. 이걸 해결하기 위해 HBM을 캐시 메모리 가까이에 설치하게 됩니다. 엔비디아 AI 가속기 (HT100)가 HBM을 선택하면서 HBM이 AI 개발을 위한 필수품이 됐고, 챗GPT와 생성 AI시대가 꽃피면서 수요는 폭발적으로 늘었습니다. 일반 D램보다 2~3배 비싸고 개당 수익률이 최고 10배나 되는 고부가가치 상품입니다.  HBM은 D램을 수직으로 쌓아 올려 속도를 높이면서도 전력 소비를 줄인 데다. 이렇게 쌓인 D램 내부를 전극..