누구든 시작하라 프롬프트 엔지니어

앞으로 확실히 뜰 직업,

자기 분야에서 살아남게 할 능력,

그것이 바로 ‘프롬프트 엔지니어’이다.

누구나 AI를 쉽고 편하게 쓸 수 있는 세상이다!

“문송합니다”라는 말이 없는 세상이 온다. 프롬프트 엔지니어의 세상은 더 이상 문송한 세상이 아니다. 공대를 졸업하지 않아도 코딩을 몰라도 누구나 AI를 쉽고 편하게 쓸 수 있는 세상이다. 소프트웨어나 코딩의 역량보다는 논리적 사고와 창의성, 상상력이 더 필요한 세상이 AI세상이다. 더 이상 AI를 만드는 사람이 아닌 AI를 잘 활용하는 사람이 더 각광받는 세상이 오고 있다. 어떤 분야에 특별한 역할을 잘 하는 AI가 있다고 하면, 이 AI가 최상의 답을 내도록 훈련시키거나 또는 최상의 답을 이끌어 내는 직업을 ‘프롬프트 엔지니어’라고 한다. ‘AI조련사’라는 별칭으로도 불린다. 엔지니어라는 말이 공학적인 냄새를 풍기기는 해서 필자는 ‘프롬프트 디자이너’라는 이름으로도 불리면 좋겠다는 생각을 갖고 있다. 어쨌든 미래 AI 발전에 중요한 역할을 할 것이고, 그런 역할을 하기 위해서는 AI가 활용되는 영역에서 전문적인 지식과 창의력을 갖춰야 할 것이다.

누구나 창의력과 상상력을 갖추면 프롬프트엔지니어가 될 수 있다!

생성AI시대가 본격화되면 유망직업 1순위는 프롬프트엔지니어다. 복잡하게 얽힌 거대언어모델(LLM)안의 지식사슬에서 가장 순도 높은 지식을 뽑아내는 프롬프트가 수많은 분야에서 필요해진다. 최근 프롬프트 엔지니어에 대한 관심이 전 세계적으로 폭발적으로 증가하고 있다. 생성 인공지능 기술이 챗GPT 발표와 함께 더욱 놀랍게 발전하면서 여러 분야에서 프롬프트 엔지니어의 필요성이 대두되고 있다.

프롬프트란 인공지능에게 입력하는 텍스트를 말하며, 인공지능이 작업을 수행하게 하는 역할을 한다. 프롬프트의 설계 방식은 인공지능의 업무 수행과 결과에 큰 영향을 미치게 되기 때문에 프롬프트를 잘 설계하는 것이 무엇보다 중요하다. 이를 전문적으로 직업의 영역에서 하는 사람이 바로 프롬프트 엔지니어다.

한마디로 정의하자면 프롬프트 엔지니어(Prompt Engineer)는 인공지능 기술을 활용해 사용자가 원하는 결과물을 정확하게 출력하도록 돕는 신종 직업을 말한다. 생성형 AI인 챗GPT를 통해 결과물을 얻는 과정에서 디테일한 사항을 프롬프트에 입력하여 사용자가 원하는 결과물을 얻도록 돕는 것을 목표로 한다. 프롬프트 엔지니어는 AI 시스템으로 원하는 결과물을 정확히 얻는 것을 목적으로 하기 때문에, 기존 엔지니어와는 다르게 코딩 능력이 중요시되지 않는다. 언어로 프로그래밍을 하기 때문에 노-코딩의 영역이라 할 수 있으며, 창의력과 상상력을 갖춘 사람이 도전한다면 전문 엔지니어가 될 수 있다.

동영상 결과물들은 더욱 놀라운 발전을 해가고 있는데, 광고나 영화를 GPT로 만들어 낼 수 있게 되는 것이다. 우리나라에서는 아직 프롬프트 엔지니어링 분야가 시작단계에 불과해 먼저 시작한다면 경쟁력을 갖출 수 있다. 창의력이 뛰어난 사람이라면 인터페이스를 개선할 수 있는 능력을 갖추고 해당 업무에 도전해 볼 수 있다.

지은이 : 장민

포스텍 박사(머신러닝, 데이터마이닝, AI전공)

포스텍 석사(뉴럴 네트워크 전공)

포스텍 학사(컴퓨터사이언스 엔지니어링 전공)

포스텍 겸직교수

현 뉴럴웍스랩(주) CEO

(Neuralworks.io(AL/ML no-coding SaaS and ML_ops solution)

30년간 컴퓨터 공학을 공부하며 AI(인공지능) 전공으로

박사학위를 받고, 관련 산업계에서 일하며

학생들을 가르치고 연구에 매진해 왔다.

현재 공공 기관 및 각 산업 분야 기업 AI부문 협력 사업과

컨설팅으로 많은 도움을 드리고 있다.

지은이 : 안재관

서울대 빅데이터AI 연구실 박사과정

런던정치경제대학교(LSE) 경제학 석사

현 (주)스위트앤데이터CEO

(생성 AI기반 프로필 사진 생성 서비스 www.sweetndata.com)

대학원에서 생성모델을 쭉 연구해 왔으며,

엔터테인먼트 산업에서 생성AI 기술을 통해 혁신을 추구하고 있다. 사람보다 사람같은 가상모델 제작을 통해

공공기관이나 기업 홍보 일을 하고 있으며,

누구나 쉽게 비대면으로 프로필사진과 증명사진을

생성할 수 있는 AI사진관 서비스를 개발하고 있다.

프롤로그 06

확실히 뜰 직업,

자기 분야에서 살아남게 할 능력,

그것이 바로 ‘프롬프트 엔지니어’이다.

1장〉프롬프트 엔지니어가 세계적으로 각광받는 이유 _장민

디지털 전환 시대 AI의 역할 15

AI는 기술인가? 산업인가? 17

생성형AI 산업의 트렌드 및 방향 19

프롬프트란 무엇인가? 21

생성AI산업과 프롬프트 엔지니어링 27

프롬프트 엔지니어링 수행 시 고려 사항 31

2장〉생성AI 모델의 작동원리 _안재관

텍스트 생성AI의 원리 45

InstructGPT 그리고 챗GPT 48

챗GPT vs GPT4.0 51

이미지 생성AI의 원리 53

ㆍ달리

ㆍ미드저니

ㆍ스테이블 디퓨전

GAN이란? 61

이미지와 텍스트의 혁신적인 연결고리, CLIP 68

Stability.AI 스테이블 디퓨전의원리 69

3장〉텍스트 프롬프트 엔지니어 (feat. 챗GPT 프롬프트) _장민

챗GPT 시작하기 77

챗GPT 모델의 선택 및 비교 81

챗GPT 플러그인이란? 94

챗GPT API 사용요금 98

GPT-4가 제시한 프롬프트 엔지니어링 101

4장〉이미지 프롬프트 엔지니어 (feat. Text-to-Image 모델들의 혁명)_안재관

달리2 사용법 115

달리2를 이용한 Outpainting 119

미드저니를 통해 이미지 생성 개선하기 124

스테이블 디퓨전 사용하기 131

Text-to-Image모델 Extension 서비스 138

미드저니 프롬프트 헬퍼 눈샷 143

5〉비디오 프롬프트 엔지니어 (feat. 이미지 다음은 동영상으로)_안재관

쉽게 해 볼 수 있는 AI 비디오 생성 149

GEN1, ModelScope 사용법 151

비디오 생성AI의 동작 원리 155

비디오 프롬프트로 홍보 영상 만들기 158

6〉사무자동화를 최적화할 프롬프트 엔지니어_안재관

마이크로소프트 빙의 챗GPT연동 169

마이크로소프트의 큰 그림, 오픈AI에 투자한 진짜 이유! MS Office Copilot 172

MS Designer, PPT계의 혁명 183

어도비의 이미지 생성AI 시장으로의 진출, Firefly 185

7〉프롬프트 엔지니어링으로 어디까지 할 수 있을까_장민

프롬프트 엔지니어가 되려면 194

파운데이션 모델의 출현과 AI 활용 방향 198

프롬프트 엔지니어로 취업하기 207

프롬프트 마켓플레이스 208

오토 GPT와 프롬프트 엔지니어링 210

부록〉

가장 멋진 이미지를 만들어 내는

이미지 프롬프트 작성 가이드 220