[도서 리뷰] 박태웅의 AI 강의

2023년 7월 10일, 초판 7쇄

 
천재적인 발명가로 축음기를 발명한 토머스 에디슨조차
"축음기는 상업적 가치가 없다"로 말했다.
이와 같이, 새로운 미디어가 불러올 변화를 깨닫지 못하는 경우가 많았다. 
 
그러나, 챗 GPT만큼은 세상에 나오자 마자 
모든 사람은 그것이 가져다 줄 위력을 실감했다. 
챗GPT는 출시된지 일주일 만에 사용자 100만을 모으고 
두달 만에 1억명을 돌파했으니 말이다. 
 
챗GPT가 나온지 얼마안되어
누가 먼저라고 할 것도 없이 각 기업들이 위기를 느끼고
챗GTP를 활용하여 어떻게 비즈니스에 이용할 것인지를 연구하고 활용하기 시작했다.

챗GPT를 보고 있자면 마법을 보고 있는 것 같다.

이 책에서는 관련 배경지식이 없이도 이해할 만할 정도로
쉽게 쓰여진 책이라 할 수 있다.
챗 GPT를 포함한 AI를 설명하면서 알아두면 좋을 용어를 찬찬히 풀어서 설명해 준다.
이것이 이 책의 가장 큰 장점이라 할 수 있다. 
 
이 책에서 말하는 용어와 AI에 대해 하나씩 소개하고자 한다.
 

| GPU

Graphic Processing Unit, GPU는 말 그대로 그림을 그리는 칩이다. 
더하기 빼기 같은 실수 계산을 병렬로 처리할 수 있다.
이를 계산칩이라는 용어대신 그래픽 칩이라 표현하는 이유는 무엇일까?
컴퓨터 모니터 해상도를 픽셀의 개수로 표현함으로써
이미지를 더 섬세하게 표현할 수 있고,
게임에서는 GPU 성능이 매우 중요하기 때문에 게이밍 컴퓨터는 비싼 GPU가 탑재된다. 
 
GPU는 애초에 그래픽 계산을 위해 만들어졌는데
AI 시대를 만나 더욱 빛을 발하게 되었다. 
GPU를 통해 병렬계산을 하기 때문이다. 
 

| GPT

Generative, 생성하는, 즉 무언가를 만드는 인공지능으로
    그림을 학습하면 그림을 그리고, 동영상을 학습하면 동영상을 만들고, 
    글을 학습하면 글을 쓰는 생성형 인공지능
Pre-trained Transformer, 사전 학습한,
    무려 3000억 개의 단어와 5조 개의 문서를 사전 학습을 했다.
    거대한 모델을 사전학습 했고, 특별히 학습을 추가시키지 않아도 
    전문 분야에 대해 그럴듯한 답을 내놓는다는 의미.
    이런 거대언어모델(Largge Language Model, LLM) 인공지능을 파운데이션 모델이라고도 부르며,
    다른 인공지능의 기반이 되는 모델이라는 의미
Transformer, 딥러닝 모델 중 하나로,
    주어진 문장을 보고 다음 단어가 뭐가 올지 확률적으로 예측
    생성형 인공지능의 대다수가 사용할 정도로 효과적인 모델
챗GPT를 이전의 생성형 AI와 구분짓는 특징 중 하나는
인간의 피드백을 통한 강화학습(Reinforement Learning from Human Feedbak, RLHF)
이를 통해 비윤리적 발언 등의 빈도를 획기적으로 낮추게 되었다. 
 

| 프롬프트와 프롬프트 엔지니어링

프롬프트는 '챗GPT에게 하는 질문'을 의미한다.
프롬프트를 어떻게 작성하는가에 따라 답변이 달라진다. 
질문을 던지는 것을 '프롬프트 엔지니어링'이라 한다. 
챗GPT의 답은 물을 때마다 조금씩 달라지는데 이는 답의 자유도를 설정할 수 있기 때문.
0~1사이로 설정되는 자유도를 GPT의 온도(temperature)라고 부른다. 
0에 가까울수록 정답만 말한다. 
 
세계적인 인공지능 과학자 앤드류 융 딥러닝 AI 대표가 오픈 AI와 파트너십을 맺고
'ChatGPT Prompt Engineering for Developers'라는 무료 코스를 공개하기도 했다. 
 
다음은 개발자 세인포자드의 '초보자를 위한 프롬프트 잘 쓰는 방법'이다.
늘 잘 먹히는 대표적인 프롬프트는 
"네가 OOO라고 가정하자"(역할부여)
"~~~를 표로 만들어줘"처럼 포맷을 지정하거나
"XXX를 요약하고 가장 중요한 것 n가지를 나열해줘" 처럼 구체적으로 일을 지정한다는 것이다.

 

| 거대언어모델의 문제

1. 챗GPT가 한 답변의 15~20% 정도에서 할루시네이션 오류가 보이는 것으로 밝혀졌다.
할루시네이션(Hallucination)은 환각이라는 뜻으로, 챗GPT가 하는 '아주 그럴듯한 거짓말'의 의미로도 쓰인다.
2. 프롬프트 인젝션 공격(Prompt Injection Attack)은 사용자 입력을 받은 텍스트 기반 
애플리케이션 또는 시스템의 취약점을 악용하는 것을 말한다. 
공격자는 악성 코드나 텍스트를 삽입하여 시스템의 동작을 조작하거나 무단 액세스 권한을 얻거나 
보안 문제를 일으킨다. 
지금의 AI는 블랙박스로, 왜 그렇게 작동하는지 구체적인 설명이 어렵다. 
부분만 고치는 것은 할 수 없고 전체를 다시 학습시킬 수밖에 없다. 
 
 

| 거대 인공지능의 '규모의 법칙'

컴퓨팅 파워를 늘릴수록, 학습 데이터 양이 많을수록, 매개변수가 클수록 
거대언어 모델 인공지능의 성능이 좋아진다. 
이 셋이 함께 커질 때 성능 향상이 더 잘된다. 
모델간의 차이보다는 규모를 키우는게 무엇보다 중요하다고 한다. 
언어모델 학습 과정에서의 연산량에 따른 성능 변화를 보며, 
학습 연산량이 대체로 10의 22제곱을 지나는 순간 거대언어모델의 능력이 치솟는다.
혹은 매개변수가 최소한 100억 개를 넘을 때 이런 현상이 발생하기도 하는데,
이것을 '느닷없이 나타나는 능력'이라고 부른다. 

거대언어모델은 별도의 추가학습(Fine tuning)을 하지 않아도
특정 분야에 대해 질문하면 잘 대답하는데,
아무런 예제없이 묻는 질문에 답하는 것을 제로 샷 러닝(Zero shot Learning)이라고  하고
몇 가지 예제와 함께 질문할 때 답하는 것을 퓨샷 러닝(Few shot Learning)이라고하며,
이 둘을 합해 질문 속에서 배운다는 뜻으로 인 콘텍스트 러닝(In Context Learning : ICL)이라 한다. 
 
 

| 왜 인공지능은 믿을 수 없을 정도로 똑똑하면서 충격적으로 멍청한가

https://www.ted.com/talks/yejin_choi_why_ai_is_incredibly_smart_and_shockingly_stupid/transcript

Yejin Choi: Why AI is incredibly smart and shockingly stupid

 
 

| 신경망은 전혀 다른 지능

제프리 힌턴 토론토대 교수는 "신경망은 전혀 다른 지능"이라고 말한다. 
2023년 5월 1일 '인공지능의 위험에 대해 저 자유롭게 말하기 위해' 구글을 떠났다. 
"저는 AI 안전 문제에 대해 이야기 하고 싶습니다"
막대한 컴퓨팅 비용을 지불한다면 신경망이 학습에서 생물을 이길 수 있는 결정적인 방법이 있다고 말한다. 
누구라도 자신이 배운 것을 모두와 즉시 아는 것과 같이 
무시무시한 속도로 학습이 일어날 수 있다는 것이다. 
새로운 기술에 대비하지 않은 인간을 조작하거나 죽이는 방법을 알아낼 수 있다는 점을 우려한다. 
특히 선거나 전쟁 같은 가장 중대한 사태에서 영향을 미치게 될 수 있다는 점을 우려한다. 
 
AI는 작업을 수행할 때 중간 단계인 자체 하위 목표를 스스로 만들게 되는데
사람에게 해롭지 않은 목표를 주었다고 해도 AI가 스스로 중간목표를 정할 수 있다면
이 일은 아주 위험해 질 수 있다. 
 

| 챗GPT에 열광하게된 이유

이전까지는 사람이 컴퓨터와 대화하려면 C++, JAVA, Python과 같은 컴퓨터 랭귀지를 따로 배워야 했지만
드디어 사람에게 하듯이 자연어로 컴퓨터에게 일을 시킬 수 있게 되었다. 
 
 

| 챗GPT 플러그인과 API

Plug-ins. 챗 GPT가 도구를 쓸 수 있도록 해준 것이다. 
챗GPT에게 일을 시키면 챗GPT가 플러그인된 프로그램들을 불러와 일을 시킨 후
그 결과를 다시 사람에게 전달하게 된다. 
챗GPT는 한 명이 아니기 때문에 여러 개의 에이전트로 나뉘어서 더하기와 빼기를 하고 여행을 예약, 쇼핑 등을 한다. 
플러그인 건너편에는 API(Application Programming Interface)가 있다. 
API는 프로그래 간의 규약으로 API를 쓰면 정해진 포맷에 따라 데이터를 주거나 미리 약속된 행위를 하겠다는 것이다. 
거대언어모델은 '파운데이션 모델'로, 별도의 파인튜닝을 하지 않아도 많은 분야에서 아주 뛰어난 답을 내놓는다. 
이들의 API를 쓰면 언제든 챗GPT와 GPT-4의 답을 받아올 수 있다. 
챗GPT의 API를 받아와서 각자의 전문 분야에 결합할 수 있다. 
 
 

| 비즈니스에서 챗GPT 활용

연산엔진인 울프람알파, 여행 검색 및 예약 서비스 익스피디아, 
항공,렌트카,숙소 등을 검색할 수 있는 카약, 레스토랑 검색, 예약 서비스인 오픈티이블, 
주변의 가게에서 쇼핑할 수 있게 해주는 인스타카드 등 11개의 서비스가 챗GPT와 결합,
두어달 되기 전에 모두 80여개 서비스가 챗GPT와 결합. 
 
 

| 거대언어모델의 출현

2023년 2월 24일 메타(facebook의 바뀐 이름)에서 라마(LLaMA)라는 거대언어모델을 오픈소스로 내놓았다. 
이 모델은 매개 변수가 70억 개 밖에 안되지만,
그 대신 챗GPT의 3,000억 개보다 훨씬 많은 10조 개의 토큰으로 학습을 시켰다. 
매개변수를 줄인 대신 학습량을 대대적으로 늘린 결과 1,750억 개의 매개변수를 가진 GPT-3.5와 성능이 비슷하다.
메타는 연구용으로 이 모델을 내놓는다고 밝혔다.
 
2023년 3월 13일 스탠퍼드대 연구진은 라마에 기반한 알파카 모델을 내놓았다. 
이 모델 역시 GPT-3.5와 비슷한 성능을 보이지만 파인튜닝을 하는 데 600달러도 들지 않는 저렴한 모델이다.
파인튜닝에 사용한 데이터셋, 모델 가중치도 곧 공개할 예정이라고 밝혔다.
 
이미지를 생성하는 AI모델 중 'Stable Diffusion'이 있는데, 이는 스태빌리티 AI에서 2022년 8월 22일 오픈소스 라이선스로 배포한 Text-to-Image 생성형 인공지능 모델이다. 
 
보다 자세한 내용은 
'A Survey of Large Language Models' (https://arxiv.org/pdf/2303.18223.pdf)
에서 찾아볼 수 있다.
 
 

| 인공지능으로 우리를 파멸시킬 수 있는 '올려다보지 마' 사고방식

2023년 4월 25일 <타임>에 MIT 물리학과 맥스 테크마크 교수가 쓴 글이다.
인류의 정보처리 능력이 기하급수적으로 성장할 수 있었던 배경은 
두뇌가 커져서가 아니라 인쇄술, 대학, 컴퓨터, 기술회사의 발명이라고 지적한다. 
마찬가지로, 단순히 더 많은 데이터로 더 큰 거대언어모델을 훈련시키는 게 
초인공지능으로 가는 유일한 길이라고 생각하는 것은 순진한 발상이 아니다. 
 
 

| 오리지널의 실종

스택오버플로(stackoverflow.com)는 개발자들이 개발하다가 궁금한 게 생기면 물어보는 사이트로, 
챗GPT가 발표된 뒤 스택오버플로의 방문자가 급감하기 시작
챗GPT가 스택오버플로에서 프로그래밍을 학습하였는데, 챗GPT는 스택오버플로의 트래픽을 빼앗아가고 있다. 
 
 

| 잊힐 권리와 지적재산권 침해

챗GPT는 5조 개의 문서를 학습했지만 그 내용이 어디에 어떤 형태로 녹어들어가 있는지 알아낼 방법이 없다. 
그러니 삭제가 가능할 리도 없다. 
챗GPT가 학습한 스크랩 데이터는 독점적이거나 저작권이 있을 수도 있다. 
챗GPT는 사용자가 입력한 프롬프트를 저장하는데 여기서 기밀이 새어나갈 수도 있다. 
 
 

| 한국에서 파운데이션 모델이 나오기 어려운 이유

정부 자료들은 아직도 hwp, pdf 포맷이라 컴퓨터가 자동으로 처리하지 못한다. 
정부는 정부 문서의 포맷을 바꿀 예정이지만 그 기한은 2025년 이후이다. 
사법부의 판결문은 열람 청구시 전체의 30%만 열람이 가능한데 일일이 검색해야 하고 결과도 pdf로 나온다. 
찾기도 어렵고 찾아봤자 결국 컴퓨터가 처리하지 못하는 자료들이다. 
정부의 국세 데이터는 지방정부도 활용하지 못한다. 법이 그렇게 되어 있기 때문.
중요한 데이터가 통째로 빠져있어서 파운데이션 모델이 되기 어렵다. 
 
반면, 미국은 공공데이터의 조건을 'FAIR'해야 한다고 한다. 
Finable, 검색 가능
Accessible, 접근 가능
Interoperable, 호환성 있어야, 즉 표준을 지켜야
Reusable, 재사용할 수 있어야 
 

| 정부가 해야할 일, 그리고 AI 리터러시

기초과학을 육성할 것
AI 알고리즘은 수학을 모르고서 만들 도리가 없다. 
AI를 제대로 활용하려면 물리,화학,생물 같은 분야에 반드시 필요
의료를 개선하기 위해 최고 수준의 의학자와, 기후 위기에 대한 대응을 위해선 최고 수준의 기상학자, 물리학자와, 
협업하지 않으면 안 된다. 
 
모든 사람들에게 AI리터러시가 더욱 중요한 이 때,
이 책은 우리의 AI리터러시를 한껏 향상시키는 데 큰 공헌하고 있음에 틀림없다!