Code to AI

Update on : 2024/10/10 AI산업은 크게 두 개의 축으로 나눠 볼수 있습니다.  AI 모델을 개발해 초거대 AI 플랫폼을 구축하려는 빅 테크 기업 그런 AI 모델을 기반으로 하는 AI 응용 서비스를 개발하는 소규모 기업 여기서는  AI 모델에 대한 내용을 다루도록 하겠습니다.  AI모델이라 하면 LLM(Large Language Model : 대규모 언어 모델) 을 말합니다. LLM도 두가지 범주로 나눌 수 있는데, LLM 자체 엔진을 말하는 파운데이션 모델과 이를 미세 조정해 만든 파인튜닝 모델로 나뉩니다. 파운데이션 모델은 워낙 만들기가 어려워, 세계적으로도 그런 기술력을 지닌 업체가 손에 꼽을 정도입니다. 파운데이션 모델에서 미세조정을 거치면 여러가지 파인튜닝 모델이 만들어지게 되는..

연합 학습(FL: Federated Learning)은 다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술이다. 여기서 로컬 클라이언트는 사물 인터넷 기기, 스마트 폰 등을 말한다. 이 연합학습은 McMahan 외 공저자 4명이 2015년에 처음 논문[1]으로 발표한 이후, 2017년 구글 AI 블로그[2]에서 공식적으로 소개되고 실제로 모바일 G Keyboard에 적용 되고 있는 기술로서 많은 주목을 받기 시작했다.연합학습은 데이터 프라이버시 향상과 커뮤니케이션 효율성, 이 두 가지 장점 때문에 유용하게 쓰일 수 있다. 연합학습을 이용하면 병원의 임상 데이터와 같은 환자 개인정보가 보호되어야 하는 상황에서 데이터 유출 없이 학습이 가능하다. 그..

2021년 2월 16일, 애플의 기계 번역팀이 연합 학습과 관련된 논문을 아카이브(arxiv)에 게재하였다[1]. 해당 논문은 On-device에서 개인을 위한 인공지능을 구현하기 위한 일반화된 시스템 디자인인 연합 평가 및 튜닝(FE&T)을 설계한 내용을 담고 있는데 서술하는 과정을 보면 구글의 연구진들이 이미 발표한 시스템[2]과 FE&T를 비교하는 방식으로 서술이 되어 있다.이번 포스팅에서는 원래 애플에서 발표한 논문의 내용을 다루어보려고 했는데 서술 과정이 구글에서 발표한 연구와 직접 비교한다는 것과, 따로 정리하지 않아도 될 정도로 일반화된 내용을 담고 있기 때문에 이번 시간에는 특정 기업에만 초점을 맞추지 않고 빅테크 기업들은 왜 연합학습을 연구하고 있는지에 대해서 탐구해보고자 한다. 연합학습..

HBM(High Bandwidth Memory)은 D램 여러개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능/초고용량 메모리 입니다. GPU 안에도 단기 기억 장치 즉 cache memory 가 있지만, AI 학습을 위한 매개변수를 모두 담기에는 턱없이 부족합니다. 이걸 해결하기 위해 HBM을 캐시 메모리 가까이에 설치하게 됩니다. 엔비디아 AI 가속기 (HT100)가 HBM을 선택하면서 HBM이 AI 개발을 위한 필수품이 됐고, 챗GPT와 생성 AI시대가 꽃피면서 수요는 폭발적으로 늘었습니다. 일반 D램보다 2~3배 비싸고 개당 수익률이 최고 10배나 되는 고부가가치 상품입니다.  HBM은 D램을 수직으로 쌓아 올려 속도를 높이면서도 전력 소비를 줄인 데다. 이렇게 쌓인 D램 내부를 전극..

이 문서는 Express(Node.js) 로 backend 를 개발하고, React 로 frontend를 개발하는 방법에 대한 설명을 보여줍니다.   작업환경 1Windows 10 OS가 설치 되어있는 LaptopNode.js v20.17.0 LTE 설치  - https://nodejs.org/ Node.js — Run JavaScript EverywhereNode.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.nodejs.org'node -v' : v20.17.0'npm -v' : 10.8.3'first_app' 이라는 directory 생성후 , command line 에서 그곳으로 위치 이동Backend 준비 'first_ap..

git tag -l : 해당 repository 에 포함되어 있는 모든 tag list 를 보여줌 이렇게 나오면 [ENTER] 키를 누르면 다음 목록들이 나온다. 리스트 보기를 중단하려면 'q' 를 누른다.   git checkout tags/[TAG NAME]  폴더 이름 옆에 (BRANCH이름) 이 나는것이 디폴트 이나 , tag 롤 checkout 하면 ((TAG이름)) 형태로 표기가 바뀐다.

가장 쉽게 시작할 수 있는 Python GUI 프레임워크 중 하나는 Tkinter입니다. Tkinter는 Python의 표준 라이브러리로 포함되어 있어 별도의 설치 없이 바로 사용할 수 있습니다. 사용자 인터페이스를 만들기 위해 필요한 기본적인 위젯(버튼, 레이블, 입력 필드 등)을 제공하며, 비교적 간단한 코드로 GUI 애플리케이션을 만들 수 있습니다. 다음은 Tkinter를 사용하여 간단한 윈도우와 버튼을 만드는 예제입니다: import tkinter as tk# 윈도우 생성root = tk.Tk()root.title("간단한 Tkinter 애플리케이션")# 버튼 생성button = tk.Button(root, text="클릭하세요!", command=lambda: print("버튼이 클릭되었습니다!..

생성형 AI란 무엇이며 어떻게 작동하나? 생성형 AI는 사용자 프롬프트에 반응하여 독창적인 콘텐츠를 생성하는 인공지능의 일종입니다. 생성형 AI는 일반적으로 텍스트를 이해하고 생성해야 하며, 이를 위한 가장 일반적인 방법 중 하나는 LLM(대규모 언어 모델)이라고 하는 것을 사용하는 것입니다. LLM은 방대한 양의 텍스트 데이터를 분석하여 복잡한 언어 패턴을 식별하고 문맥을 인식하며 단어가 서로 어떻게 연관되어 의미를 전달하는지 학습하여 만들어집니다. 그런 다음 해당 분석을 사용하여 프롬프트의 세부 사항과 문맥을 기반으로 가장 가능성이 높은 다음 단어를 예측하여 프롬프트에 대한 응답 텍스트를 생성합니다. 생성형 AI가 자연어를 사용하여 작동한다는 의미이기도 합니다 생성형 AI를 사용하려면 AI 기술과 사..

https://www.youtube.com/watch?v=SgOqIhvspcs 우리나라 국책기관 중에서는 사상 처음으로 한국은행 연구진이 우리나라 일자리들의 AI 대체 가능성을 분석한 보고서를 어제(16일) 내놨습니다.   이른바 'AI 노출 지수'라는 잣대로 봤을 때 가장 인공지능에 대체될 가능성이 높은 직업을 18가지로 꼽았습니다.일반 의사와 한의사, 철도와 전동차 기관사, 공학 관련 기술자와 연구원 같은 직업들이 꼽혔습니다.AI 노출 지수가 최상위인 이 직업들은 대규모의 데이터를 활용해야 잘할 수 있는 일들입니다. 그러니까 사람으로 말하자면 공부를 많이 했어야 하는 일, 기존의 고학력, 고소득 전문직 일자리들이 주로 해당됩니다. 산업별로는 정보통신업, 전문과학기술, 제조업처럼 생산성이 높은 산업군의..

언어 모델ChatGPT(GPT-3.5, GPT-4): 대화에 최적화된 모델InstructGPT: 단일 턴 지시에 최적화 (계속 이어지지 않고, 한 번의 지시-답변으로 이루어진 대화)파인튜닝(fine-tuning) 모델: 사용자의 데이터로 학습시킬 수 있는 기본 모델임베딩(embedding) 모델: 텍스트를 컴퓨터가 이해할 수 있는 벡터(숫자들이 나열된 데이터)로 변환하는 모델이미지 모델DALL-E 2: 자연어로 이미지와 예술 작품을 만들 수 있는 모델오디오 모델Whisper: 다양한 언어의 텍스트 변환과 영어 번역을 지원하는 자동 음성 인식 시스템API용 모델API를 이용하여 OpenAI의 언어, 이미지, 오디오 모델을 활용할 수 있습니다. OpenAI API 설치// python에서 API를 사용할 때..