|
|
||
|
{{{#!wiki style="margin:0 -10px -5px" {{{#000,#fff {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-6px -1px -11px" {{{#000,#e5e5e5 |
제품군 | |
| 서비스 | ChatGPT · OpenAI(인공지능) | |
| 모델 |
GPT-1 ·
GPT-2 ·
GPT-3(
GPT-3.5) ·
GPT-4(
GPT-4 Turbo ·
GPT-4o ·
GPT-4o mini) ·
GPT-5(개발 중) o1(o1-preview · o1-mini) |
|
| DALL·E · Codex · CLIP · Whisper · Voice Engine · Sora · SearchGPT | ||
| 관련 인물 | ||
| 일론 머스크 · 샘 올트먼 · 미라 무라티 · 일리야 수츠케버 · 안드레 카파시 · 그렉 브록만 · 다리오 아모데이 | ||
| 관련 기업 | ||
| 마이크로소프트 | ||
|
GPT-3 Generative Pre-trained Transformer 3 |
|
| 출시일 | 2020년 6월 11일 |
| 제작사 | OpenAI |
| 기능 | 언어 모델 |
| 하드웨어 | NVIDIA A100 |
| 링크 |
|
[clearfix]
1. 개요
OpenAI가 개발한 GPT-2의 후속작이다.2020년 6월에 출시되었으며, 2022년 11월에 GPT-3.5가 출시되었다.
2. 상세
GPT-3는 자기회귀 언어 모델이다. 또한, OpenAI가 만든 GPT의 3세대 모델이다.GPT-3는 1,750억 개의 매개변수로 구성되어, 2020년 5월 도입된 전작인 GPT-2보다 100배 이상 크다.
GPT-3가 수행가능한 작업으로는 간단한 각종 언어 관련 문제풀이, 간단한 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩, 간단한 대화 등이 가능하다. 또한, GPT-3에서 생성하는 글은 인간이 작성한 글과 구별하기 어렵다.
3. 역사
2020년 5월 28일 OpenAI 연구진과 엔지니어들은 GPT-3를 소개하는 논문 원본을 발표하면서 GPT-3의 잠재적 위험을 경고하고, 위험 완화를 위한 연구를 요구했다. 호주 철학자 데이비드 차머스는 GPT-3를 "지금까지 생산한 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나"라고 설명했다.2020년 6월 클로즈 베타 테스트를 거쳤다.
2020년 10월부터 OpenAI는 GPT-3의 코드와 모델을 공개하지 않을 것이라 밝혔다. 지금까지 OpenAI가 추구해왔던 비영리, 오픈 소스와 반대되는 행동이라 비판이 나왔다. 2019년 OpenAI에 투자한 마이크로소프트의 요구로 인해 비공개로 돌린 것이 아니냐는 추측이 있다. 모델이 공개된다 한들, 매개변수의 개수가 상당한 만큼 개인용 컴퓨터에서 실행시키는 것은 불가능할 것으로 보인다.
2021년 7월에는 GitHub가 GPT-3을 이용한 GitHub Copilot을 공개하였다.
2022년 11월 오픈 베타가 시작되어 세계적으로 큰 반향을 일으켰다. GPT-3의 오픈베타 공개는 OpenAI가 더이상 늘어나는 GPT 개발비를 감당하지 못하고, 마이크로소프트와 협약을 맺어 대중적으로 이를 공개하기로 방향을 바꿨기 때문이다. 이에 따라 GPT-3는 원격 API 호출 등의 유료 기능을 갖추고 있으며, 마이크로소프트 검색 엔진 등에도 유료 라이센스로 적용이 되었다. 2020년 2월에 선보인 마이크로소프트의 튜링 NLG로 GPT-3보다 매개변수가 10배 적었다.
4. API
- 대화: 심심이, 이루다2와 같은 대화 서비스이다. 기본적으로 더 자연스럽다.
- 분류: 가장 기본적인 것으로 어떠한 문장에 긍정, 중립, 부정을 판단한다.
- 번역: 구글번역기보다 수준은 떨어지나 인터넷 자료 등 학습을 통해 번역을 한다는 것이 중요한 것이다.
- 이모티콘으로 변환: 해당 단어의 이미지를 이모티콘으로 표현한다.
- 요약: 몇백 줄 되는 문장도 최대한 압축시켜 요약한다. 내용이 부실한 경우 역으로 추가까지 해준다.
- 완성: 쓴 내용이 부실한 경우, 자신이 부족한 내용을 대신 다 써준다.
- Q&A: 말 그대로 질문에 대한 답변을 해주는 것이다.
- 텍스트 삽입: 현재 베타 버전으로 내용 문맥에 맞게 생략된 부분을 유추하여 집어넣어준다.
- 생략된 주어 삽입: 현재 베타 버전으로 생략되어 있는 화자의 인칭대명사를 집어넣어준다.
- 커스터마이징 API: 자유롭게 코딩 후, 그 코딩 조건에 맞는 대답을 나오게 할 수 있다.[1]
5. 한계
The GPT-3 hype is way too much. It's impressive (thanks for the nice compliments!) but it still has serious weaknesses and sometimes makes very silly mistakes. AI is going to change the world, but GPT-3 is just a very early glimpse. We have a lot still to figure out.
GPT-3은 너무 과대평가되었습니다. 여러 칭찬은 감사하지만, 여전히 약점이 있고 이상한 실수를 하기도 합니다. AI가 세상을 바꿀 것이지만 GPT-3는 그 첫발을 내딛은 것뿐이라 생각합니다. 여전히 알아낼 게 많아요.
OpenAI 대표 샘 알트만
GPT-3은 너무 과대평가되었습니다. 여러 칭찬은 감사하지만, 여전히 약점이 있고 이상한 실수를 하기도 합니다. AI가 세상을 바꿀 것이지만 GPT-3는 그 첫발을 내딛은 것뿐이라 생각합니다. 여전히 알아낼 게 많아요.
OpenAI 대표 샘 알트만
-
효율성이 너무 떨어진다.
GPT-3은 무려 1,750억개의 매개변수를 가지고 있으며, 인간이 평생 보는 정보보다 많은 데이터를 학습해야 한다. 사전학습에 필요한 비용은 수백억단위로 다소 방대하고 학습 시간도 길어 활용하기도 쉽지 않다. -
현실세계의 물리적 상식을 잘 모른다.
GPT-3는 "치즈를 냉장고 안에 넣으면 녹을까?"라는 질문에 "그렇다"라고 답했는데, 일반적인 사람이라면 당연히 알 만한 물리적 지식을 잘 모른다.[2]고장난 냉장고GPT-3 모델은 엄밀히 말해 인간의 뇌처럼 '개념을 학습'하는 것이 아니라, '이 뒤에 나올 문장 중 가장 자연스러운 단어를 학습'하는 모델이기 때문이다. 아무리 밀도 높은 수학 문제집을 학습시키더라도 계속해서 오류가 나오는 것도 이런 이유에서이다. - 학습에 사용된 예제를 외우고 패턴을 분석, 학습하는 것이지 실제로 추론해내는 것이 아니다.
-
새로운 정보를 수용하기 어렵다. 한 마디로 제대로 된[3] '
기억력'이 없다.
GPT-3 모델이 비록 (학습 내용에 따라) 인간 또는 인격과 대화를 나누는 것 같은 자연스러운 문장을 내놓긴 하지만, 실제론 무수한 DB를 바탕으로 학습한 패턴에 따라 가장 자연스러운 단어를 가장 자연스러운 문장구조에 따라 출력하는 것뿐이다. 이러한 패턴 분석( 딥 러닝)에는 오랜 시간이 걸리며, 사용 중 입력된 정보를 즉시 기억, 기록(또는 학습)하기 위해서는 GPT-3와 API를 공유하는 서드파티 기능이 필요하다.[4] 아주 간단한 예로 GPT-3 기반 AI와 틱택토 게임을 해 보면, 게임의 룰은 알고 있지만 AI는 자신이나 상대가 방금 전에 둔 수를 기억해내지 못하는 문제가 있어서 임의로 수를 만들어내는 경우가 있다.
GPT-3 특유의 자연스러운 문장 구현에 의해 마치 해당 모델이 인격을 구현하는 데에 성공한 듯 느껴지기 쉽지만, 실제론 가장 높은 점수를 받을 수 있는(가장 자연스러운) 문장을 반복해서 출력하는 딥러닝 예측 모델에 불과하다. 당연히 기억, 추론, 이해와 같은 인간 지능을 구성하는 대부분의 요소가 결락되어 있으므로, 자아를 지닌 인격 모델이 아닌 단순 문장 출력기로 이해하는 것이 바람직하다.
6. 기타
Latitude사의 AI Dungeon은 원래 GPT-3를 이용하는 게임이었으나, Open AI의 검열 정책 때문에 2021년 후반부터 다른 AI 모델을 물색하다가 2022년 AI21의 Jurassic-1 모델로 전면 변경할 예정이다.여기에 GitHub에 올라온 수많은 오픈 소스 코드들을 학습시켜, 스스로 코딩하는 프로그램 GitHub Copilot이 만들어졌다.
7. GPT-3.5
GPT-3을 미세조정(fine-tuned)시킨 언어 모델로, ChatGPT에서 처음에 기본적으로 제공되었던 언어 모델이다.- 2022년 11월 30일, GPT3.5 기반 ChatGPT의 베타 버전이 공개되었다.
- 마이크로소프트와 제휴하여 Teams 프리미엄을 출시했다.
- 2023년 4월 10일, GPT3.5 Turbo기반 AI 서비스의 베타 버전이 http://gptlab.us에서 깃허브 Developer Program Member 이승원(블록체인전문가)로 부터 공개되었다.
- Quora의 Poe라는 챗봇이 3.5에 기반을 하고 있다. 유료 구독자는 GPT-4 접근이 가능해진다.
2023년 6월 14일, OpenAI는 GPT-3.5의 업그레이드를 출시했다. 이 업그레이드의 핵심 특징 중 하나는 '함수 호출' 기능의 도입이다. 개발자는 이를 통해 프로그램 작업을 대화식으로 AI에게 설명할 수 있고, AI는 그에 따른 코드를 생성한다. 이 기능은 자연 언어 요청을 데이터베이스 쿼리에 적합한 코드로 번역하고, 결과를 다시 ChatGPT 스타일의 답변으로 반환하는 데 사용된다.
또한, GPT-3.5 Turbo의 새 버전에서는 컨텍스트 윈도우가 크게 확대되었다. 이전 버전은 4,000 토큰을 사용했지만, 새 버전에서는 이 값이 16,000으로 증가, 4배나 확대되었다.
마지막으로, OpenAI는 이들 모델의 가격을 크게 낮췄다. 이전에 비해 작은 모델의 비용이 25% 감소했고, 컨텍스트 윈도우가 더 큰 버전의 비용은 작은 버전의 두 배로 설정되었다. 이러한 가격 변동은 모델의 효율성을 개선한 결과다.
8. 여담
역사학자 유발 하라리가 약간의 위트를 위해 GPT-3를 이용하여 책의 서문을 작성했다.9. 관련 문서
[1]
강아지 이름만 말하기, 끝말잇기, 책 추천하기, 숫자 계산하기 등.
[2]
그러나 이는 ChatGPT에서 해결되었다.
[3]
당장 한 두 문장 전에 한 말은 기억을 한다.
[4]
실제로 AI가 시나리오를 이어 써주는 것을 컨텐츠로 삼는 서비스 NAI의 경우, 구동되는 GPT 엔진으로 하여금 현재까지 만들어진 문장을 따라 다음 내용을 제한시키는 각종 바이어스를 붙이도록 별도의 시스템을 엮어두었다. GPT 엔진이 실질적으로 지난 내용을 이해하거나 기억하게 할 방법이 없으므로, 지난 모든 내용을 조건문으로 사용해 엇나가는 내용을 출력할 수 없도록 제한을 걸어두었다 보면 이해가 쉽다.