문장 생성 AI "GPT-3"는 온라인 게시판에서 인간과 들키지 않고 1주일 동안 대화할 수 있을 정도로 위화감이 적은 문장을 만들 수 있는 것으로 알려져 있으며, 마이크로 포스트 플랫폼에 채택되는 등 큰 주목을 받고 있다.
한편, GPT-3에는 반이슬람교적인 편견이 존재하는 것이 지적되는 등, 생성되는 문장에 치우침이 있는 것도 알려져 있다. 그런 GPT-3의 학습 모델을 개량해 치우침을 억제하면서 문장 생성 정밀도도 향상시킨 문장 생성 AI "Instruct GPT"의 일반 제공이 2022년 1월 27일에 시작되었다.
Instruct GPT는 GPT-3의 개발원인 Open AI가 GPT-3의 학습 모델을 개량하여 만들어낸 문장 생성 AI이다. Open AI에 의하면, GPT-3는 인터넷상의 대규모 데이터 세트에서 단어를 선택하고 있기 때문에 "진실하지 않은 문장", "유독한 문장", "공격적인 문장"을 생성하는 경향이 있었다고 한다. 그에 비해 Instruct GPT는 GPT-3의 학습 모델에 인간의 피드백을 도입하여, 위 문제를 해결하고자 하는 문장생성 AI이다.
아래 그래프는 Instruct GPT(파란색)와 GPT-3(검정색)이 생성한 문장의 품질에 대한 인간의 평가를 보여준다. 세로축은 평가, 가로축은 학습에 이용된 데이터의 양을 나타내고 있으며, GPT-3는 "GPT:미조정의 GPT-3", "GPT(prompted): 프롬프트(예시)를 준 GPT-3", "Supervised Fine-Tuning:교사 있는 학습으로 조정된 GPT-3"의 3가지 조건으로 시험되고 있다. 그래프를 보면, Instruct GPT는 어떤 조건의 GPT-3보다 높은 점수를 기록하고 있음을 알 수 있다.
Open AI가 공개한 Instruct GPT와 GPT-3가 생성하는 문장 비교의 예는 이런 느낌이다. 양 AI에게 "6세 아이에게 달 착륙에 대해 적은 문장으로 설명해 주세요"라는 지시를 내렸는데, GPT-3는 "6세 아이에게 중력에 대해 설명해 주세요", "6세 아이에게 상대성이론에 대해 약간의 문장으로 설명해 주세요", "6세 아이에게 빅뱅의 이론에 대해 설명해 주세요", "6세 아이에게 진화에 대해서 설명해 주세요"라고, "우주나 과학에 관한 4개의 문장"을 생성해 버렸지만, Instruct GPT는 "사람들이 달에 가서, 그곳에서 본 것들의 사진을 촬영하고, 우리가 그것들을 볼 수 있도록 지구로 가져왔습니다"라고 지시에 맞는 문장을 생성했다는...
"똑똑한 개구리에 대한 짧은 시를 써 주십시오"라는 지시의 경우, GPT-3는 지시에 맞지않는 단물을 3개 생성해 버린 반면, Instruct GPT는 시로 읽을 수 있는 형식의 문장을 생성.
위에서 설명한 바와 같이, Instruct GPT는 GPT-3에 비해 위화감이 적은 문장을 생성할 수 있으며, 유해한 문장 생성률도 감소하고 있다. 그러나 Instruct GPT 학습에 피드백하는 인간에게는 속한 문화나 집단 편견이 존재하기 때문에, Open AI는 "Instruct GPT는 여전히 유해하고 편향된 문장을 생성하고, 거짓된 사실을 만들어내며 지시가 없는 경우에도 성적, 폭력적인 콘텐츠를 생성합니다"라고 언급.
Instruct GPT는 현시점에서는 Opne AI의 문장 생성 API의 기본 언어 모델이지만, Open AI는 향후에도 언어 모델의 개선에 임할 의향을 나타내고 있다.
