[번역] 2023 AI VTuber 총결산 ~ 독단과 편견 가득한 뼈속까지 솔직한 회고록 ~

[번역] 2023 AI VTuber 총결산 ~ 독단과 편견 가득한 뼈속까지 솔직한 회고록 ~
2023 AI Vtuber 총결산 ~ 독단과 편견 가득한 뼈속까지 솔직한 회고록 ~ <출처: 냐바타>

안녕하세요, 냐바타(NYAVATAR)에서 AI 버추얼 유튜버의 기획・개발・운영을 담당하고 있는 켄켄(けんけん)입니다. 리쿠르트에서 15년간의 경력을 쌓은 후 2020년 9월에 창업했으며, 2022년 2월부터 냐바타 사업을 본격적으로 진행하고 있습니다.

이 글에서는 AI 버추얼 유튜버 업계에 큰 변화가 있었던 2023년을 사업적 관점에서 솔직하게 돌아보고자 합니다. 현장에서 직접 경험한 내용을 바탕으로, 눈치 보지 않고 제 생각을 나누려 합니다.

물론 제가 전하는 내용에 대해 다양한 의견이 있을 수 있으며, 그 모든 관점이 나름의 타당성을 가질 것입니다. 이 글은 제 개인적인 경험과 견해를 바탕으로 작성되었음을 미리 말씀드립니다.

현재 AI 버추얼 유튜버 시장에 관한 정보는 대부분 실제 운영 경험이 없는 기업이나 개인이 SEO나 제휴 마케팅 목적으로 작성한 컨텐츠가 대부분입니다. 이에 현장의 생생한 목소리를 전하고자 매주 금요일 밤 10시에 트위터 스페이스를 통해 소통하고 있으니, 관심 있으신 분들의 참여를 환영합니다.


시간순으로 돌아보기

2022년: 여명기

냐바타는 2022년 7월 AI 버추얼 유튜버 개발을 시작해 같은 해 9월 첫 유튜브 방송을 선보였습니다. 당시는 AI 버추얼 유튜버의 수가 열 명도 채 되지 않던 시기였으며, 반다이 남코 엔터테인먼트의 '고란게(고-라운드 게임)' 론칭 소식이 업계의 큰 화제였습니다.

AI技術を活用したライブ配信・実況を行う「配信AIキャラクター」プロジェクトを発足
株式会社バンダイナムコエンターテインメントのプレスリリース(2022年9月29日 12時00分)AI技術を活用したライブ配信・実況を行う「配信AIキャラクター」プロジェクトを発足

초기에는 AI 구현의 기술적 장벽이 높았고, 협업할 전문가를 찾는 것도 쉽지 않았습니다. 트위터에서 자연어 처리 관련 전문가들에게 무작정 DM을 보내다가 운 좋게 관심을 보인 엔지니어와 함께 개발을 시작하게 되었죠.

OpenAI의 GPT가 등장하기 이전, 다양한 AI 모델을 실험하며 발전하던 시기였습니다. 트위터와 유튜브에서 AI 버추얼 유튜버와 팬들 사이에 오가던 서투르지만 따뜻한 소통을 보며 새로운 가능성을 발견했고, 이는 투자자들과의 열띤 논의로 이어졌습니다.

지금 돌이켜보면, AI가 주는 놀라움이 상대적으로 적었던 그 시기에 오히려 사람들은 AI 엔터테인먼트를 더 순수하게 즐길 수 있었던 것 같습니다. 작은 진전에도 함께 기뻐하고 즐거워하던 그 시절이 새삼 그립네요.

2023년 1월~3월: 과도한 기대의 절정기

뉴로사마 트위치 계정 정지 사건

2023년의 첫 이슈는 뉴로사마(Neuro-sama)의 트위치 계정 정지였습니다.

AIのVTuber「Neuro-sama」がTwitchからBAN処分されたと開発者が報告。ホロコースト否定など危険発言連発系美少女ストリーマー【UPDATE】 - AUTOMATON
AIによるVTuber「Neuro-sama」が、TwitchにおいてBAN処分を受けたようだ。Neuro-samaは、2022年末より急速にユーザーらの人気を集める一方で、倫理観を逸脱するような発言に懸念も寄せられていた。

당시 뉴로사마는 트위치에서 이미 9만 명에 가까운 팔로워를 보유하고 있었던 반면, 유튜브 채널은 2022년 크리스마스 시점에 구독자 929명에 불과했습니다. 솔직히 말씀드리면, 이 사건이 있기 전까지는 뉴로사마의 존재조차 몰랐습니다.

이 소식을 접한 후 즉시 우리 AI의 발언 제한 기능을 강화하도록 엔지니어에게 요청했습니다. 그런데 흥미롭게도, 이 계정 정지 사건이 오히려 뉴로사마의 인지도를 크게 높이는 계기가 되었고, 2023년 3월 24일에는 유튜브 구독자가 10만 명을 돌파하게 됩니다.

그림 1. 뉴로사마의 유튜브 구독자 수/시청 횟수 주간 누적 그래프 <출처: SOCIAL BLADE>

이러한 급격한 성장은 트위치에서 이미 확보한 탄탄한 팬층과 뉴로사마만의 매력적인 캐릭터성, 그리고 독특한 목소리가 있었기에 가능했습니다. 의도치 않은 '탈선 마케팅'이 功이 되어 2023년 AI 버추얼 유튜버 시장의 서막을 화려하게 열게 된 셈입니다.

일본발 AI 버추얼 유튜버의 확산

국내에서도 프로젝트 아이비(Project IVY), 시즈쿠 등 새로운 AI 버추얼 유튜버들이 속속 등장하기 시작했습니다. 이들의 빠른 성장세를 지켜보며 조바심이 들어, 다른 개발자들과 적극적으로 정보를 교환하고 시장 동향을 예의주시하기 시작했습니다.

2023년 2월 27일에는 AI 버추얼 유튜버를 위한 디스코드 커뮤니티 '아이츄버 월드'가 문을 열었는데, 개설 첫날 저녁 두 시간 남짓한 시간 동안 무려 213명이 가입하는 놀라운 반응을 보였습니다. 이를 통해 AI 버추얼 유튜버에 대한 시장의 뜨거운 관심을 실감할 수 있었죠.

OpenAI API 출시와 시장의 변화

2023년 3월 2일은 AI 업계의 역사적인 날이었습니다. OpenAI가 GPT-3.5 API를 공개한 것입니다. 이는 AI 버추얼 유튜버 분야를 포함해 AI 산업 전반에 혁신적인 변화를 가져왔고, 기존의 AI 기술들은 하룻밤 사이에 구시대의 유물이 되어버렸습니다.

2주 후 발표된 GPT-4까지 더해지면서 고성능 AI 구현의 진입장벽이 크게 낮아졌고, 이는 AI 버추얼 유튜버 개발자의 폭발적인 증가로 이어졌습니다. 새로운 AI 버추얼 유튜버들이 너무 빠르게 등장해 정확한 집계가 어려울 정도였고, 'AITuber 일람'이나 'AITuber Gallery' 같은 큐레이션 사이트도 생겨났습니다.

이 시기에는 AI에 대한 관심이 최고조에 달해, AI 관련 영상이기만 해도 1만 회 이상의 조회수를 기록했습니다. AI 버추얼 유튜버들의 유튜브 채널과 트위터 계정 팔로워도 꾸준한 상승세를 보였습니다.

2022년부터 이 시기까지의 AI 버추얼 유튜버 성장사에 대해 더 자세히 알고 싶으신 분들은 아래 기사를 참고하시면 좋겠습니다.

AIとVTuberの現在地 - AITuberとは何か?
みなさんはAITuberというのをご存知だろうか? 2023年の年明けにSNSで話題になり、もしかしたら耳にしたことのある方も少なくないと思います。「AI」と「VTuber」を組み合わせた造語で、アバター技術とAI技術を […]

한 가지 덧붙이자면, 현재 AI 버추얼 유튜버 관련 2차 정보의 대부분이 이 시기까지의 상황만을 다루고 있어, 실제 현장의 모습과는 상당한 차이가 있다는 점을 고려해야 합니다.

2023년 4월~6월: 환멸기의 시작

2023년 3월 말, AI 버추얼 유튜버 시장은 여러 요인이 복합적으로 작용하며 침체기에 접어듭니다. 이제부터는 그동안 잘 논의되지 않았던 업계의 불편한 진실들을 살펴보고자 합니다.

AI 버추얼 유튜버의 구조적 한계

첫 번째로 주목할 점은 "생각보다 여전히 높은 기술적 장벽"입니다. OpenAI API의 등장으로 고품질 텍스트 생성은 한결 수월해졌고, 이에 따라 LINE 등 다양한 플랫폼에서 AI 챗봇 서비스가 우후죽순 생겨났습니다.

하지만 AI 버추얼 유튜버는 단순한 텍스트 생성 그 이상을 요구합니다. 음성 합성과 노래 부르기, 일러스트레이션 제작, 방송 소프트웨어 연동, 유튜브 플랫폼 활용 등 해결해야 할 기술적 과제들이 여전히 산적해 있습니다.

이러한 기술적 허들로 인해 많은 개발자들이 기획이나 개발 단계에서 프로젝트를 중단하게 됩니다. 설령 개발을 완료했다 하더라도, 지속적인 콘텐츠 기획과 구현에 따르는 운영 부담을 견디지 못해 활동을 접는 경우가 속출했습니다.

두 번째 요소는 "이렇게 힘든데 비해 너무 재미없잖아" 문제입니다. 만약 이러한 기술적 난관에도 불구하고 충분한 수익이나 인기를 얻을 수 있었다면, 대부분의 문제는 극복 가능했을 것입니다. 하지만 현실은 기대에 미치지 못했습니다.

AI 버추얼 유튜버의 수가 늘어나면서 더욱 분명해진 사실이 있습니다. 대다수의 AI 버추얼 유튜버는 일상적인 대화만으로는 시청자들의 흥미를 끌기 어려웠고, 일반 중소 규모 버추얼 유튜버들의 라이브 스트리밍과 비교해도 엔터테인먼트적 요소가 현저히 부족했습니다.

방송의 재미를 높이기 위해서는 AI 기술 외에도 세밀한 콘텐츠 기획과 전문적인 프로듀싱이 필수였습니다. 개발자들은 이런 추가적인 노력을 감수할지, 콘텐츠 품질을 낮출지, 아니면 아예 운영을 중단할지 선택의 기로에 서게 되었습니다.

더욱 실망스러운 점은, 이러한 추가 노력을 기울인다 해도 유튜브에서 큰 화제가 되거나 구독자가 급증하는 경우가 드물었다는 것입니다. 최선을 다해도 겨우 일반적인 중소 규모 버추얼 유튜버와 비슷한 수준의 성과를 내는 것이 현실이었죠.

시청자들 역시 기존의 버추얼 유튜버와 비슷한 수준의 재미나, 혹은 새로운 형태의 엔터테인먼트를 기대했습니다. 하지만 안타깝게도 AI 버추얼 유튜버는 대중적인 엔터테인먼트 콘텐츠로 자리잡는 데 실패했습니다.

2023년 3-4월: 시장의 정점과 하락

여러 문제점들이 중첩되면서 4월부터는 개발자와 시청자 양측 모두에서 디플레이션 현상이 나타났습니다. AI 버추얼 유튜버 개발자의 수와 시청자 수는 눈에 띄게 정체되기 시작했죠.

대부분의 AI 버추얼 유튜버들이 유튜브 채널 구독자 증가율의 정점을 2023년 3월에 찍었습니다. 린나이라미 같은 소수의 성공 사례를 제외하면, 4월 이후 전반적인 구독자 증가세는 3월과 비교해 현저히 둔화되었습니다.

그림 2. 뉴로사마의 유튜브 구독자 수/시청 횟수의 월간 그래프를 보면 2023년 4월의 채널 구독자 증가 수는 3월 대비 60% 수준으로 감소했습니다.. <출처: SOCIAL BLADE>

각 AI 버추얼 유튜버의 시행착오 시작

이러한 침체를 극복하기 위해 AI 버추얼 유튜버들은 단순 채팅 방송의 한계에서 벗어나려 했습니다. 콜라보레이션, 특별 기획 방송, 게임 실황, 가상 위인 대담, 관찰 방송 등 다양한 시도가 이어졌습니다.

하지만 안타깝게도 이러한 실험들 중 어느 것도 업계의 판도를 바꿀만한 킬러 콘텐츠로 자리잡지는 못했습니다. AI 버추얼 유튜버 업계는 계속해서 새로운 포맷을 찾아 도전했지만, 이는 곧 끝나지 않는 시행착오의 여정이 되었습니다.

2023년 7월~9월: 환멸기 중반

모든 혁신적인 시장이 그렇듯, 초기 개척자들의 실험과 검증 단계가 마무리되면서 대형 기업들의 시장 진입과 함께 새로운 진화의 국면을 맞이하게 됩니다.

TV도쿄의 AI 버추얼 유튜버 사업 진출

대부분의 엔터테인먼트 기업들이 AI 버추얼 유튜버 시장을 관망하고 있던 2023년 6월 말, TV도쿄가 대형 미디어 기업 중 가장 먼저 시장 진입을 선언했습니다.

テレビ東京が “AI Vtuber”事業に参入!
株式会社テレビ東京ホールディングスのプレスリリース(2023年6月30日 13時00分)テレビ東京が “AI Vtuber”事業に参入!

이 프로젝트는 전 TV도쿄 임원이 공동 대표를 맡은 Web3 기업이 주도하고, TV도쿄가 성장 투자 부문을 통해 참여하는 형태로 구성되었습니다. AI 기술 부문은 B2B AI 솔루션 전문기업 엑사위저즈가 담당하게 되었습니다.

홀로라이브의 AI 코요리 프로젝트

일반 버추얼 유튜버들 사이에서도 AI에 대한 관심이 높아지고 있었습니다. 이미 4월에 홀로라이브 잉글리시의 타카나시 키아라가 뉴로사마와 콜라보레이션을 진행한 바 있었고, 많은 버추얼 유튜버들이 자신의 채널에 AI를 활용하는 방안을 모색하고 있었습니다.

2023년 9월, 대형 버추얼 유튜버 사무소인 홀로라이브가 AI 코요리 프로젝트를 시작했습니다. 업계 선두 기업의 본격적인 AI 도전이라는 점에서 큰 주목을 받았고, 첫 방송 이후에도 작사 대결 등 다양한 기획으로 꾸준히 콘텐츠를 이어가고 있습니다.

대형사 진출에 대한 현장의 시선

AI 버추얼 유튜버 업계 종사자로서 대형사들의 시장 진입에 대해 복잡한 심정을 가지고 있습니다. 든든한 지원군이 생겼다는 기대감과 동시에, 아쉬움도 있기 때문입니다.

TV도쿄의 '이시토호시' 프로젝트를 살펴보면, 2023년 12월 말 기준 유튜브 채널 구독자는 300명 수준입니다. TV 방영 성과는 확인할 수 없으나, 유튜브 상의 성과는 예상보다 저조한 편입니다.

그림 3. 실제로 첫 방송을 제외한 대부분의 동영상과 라이브 방송은 100~300회 정도의 조회수를 기록하고 있어, 일반적인 개인 채널과 비슷한 수준에 머물러 있습니다. <출처: 유튜브>

TV도쿄만의 고급스러운 영상미를 보여주는 쇼츠 콘텐츠는 돋보이지만, AI 관련 콘텐츠들은 2023년 상반기 다른 AI 버추얼 유튜버들이 시도했다 실패했던 기획들과 비슷한 양상을 보이고 있습니다.

홀로라이브의 AI 코요리는 확실히 높은 인지도와 팬층을 바탕으로 다른 AI 버추얼 유튜버들보다 훨씬 높은 조회수를 기록하고 있습니다. 하지만 코요리의 기존 콘텐츠들과 비교하면 아직 성장 가능성이 남아있는 상태입니다.

그림 4. AI 코요리의 방송은 다른 AI 버추얼 유튜버들과 비교하면 월등히 높은 시청률을 보입니다. 하지만 코요리의 채널 내에서 보면, 30만 회 이상의 조회수를 기록한 라이브 방송이 83개나 있는 것을 고려할 때 평균적인 수준의 성과라고 할 수 있습니다. <출처 :유튜브>

AI 단독 방송의 가능성 실험, 작사 대결, 홍백가합전 사회 등 새로운 시도를 계속하는 모습은 매우 인상적입니다. 다만 현재의 기술적 한계와 인터페이스 제약으로 인해, 기획 의도를 온전히 구현하는 데 어려움이 있을 것으로 보입니다.

2023년 11월 노트(note)에 공개된 시스템을 보면, 3월경 각 AI 버추얼 유튜버들이 사용하던 전통적인 방식과 크게 다르지 않아 보입니다. 다양한 위험 요소를 고려해 많은 제약을 둘 수밖에 없는 상황이지만, 그만큼 향후 발전 가능성도 크다고 생각됩니다.

AIこより爆誕!?の裏側|カバー株式会社 公式note
こんこよ~🧪 カバー株式会社CTO室エンジニアのAです。 カバー株式会社には2023年4月に新卒で入社し、第1回COVER Techを執筆したKさんの下で、タレントの皆様が日々のYouTube配信などで使用するホロライブアプリの開発に携わっています。 また、ここ数か月はそれと並行してAIこよりシステムの開発を担当してまいりました。 この記事では開発したシステムの概要についてご紹介します。 開発経緯 AIこよりシステムの開発に至った経緯について。 まず社内に生成AIの可能性や関連技術の検討をしたいという需要がありました。そこへ、こよりさんからご自身のAIを作りたいというご要望

홍백가합전 사회를 맡은 AI 코요리는 복잡한 문장 생성 AI 대신 단순 음성 생성 AI만을 활용한 것으로 보입니다. 이러한 단순하면서도 참신한 접근법은 대형 기업의 실험이 가져온 긍정적인 성과라고 생각합니다.

아쉬운 점은 각 AI 버추얼 유튜버들의 시행착오가 제대로 공유되지 않았다는 것입니다. 이로 인해 대형사들도 이전의 실패 사례를 참고하거나 효율적인 해결책을 찾는 데 어려움을 겪었고, 이는 업계 전체의 발전을 더디게 만들었습니다.

새로운 돌파구: 틱톡의 실험

이렇게 업계가 답답한 상황에 빠져있을 때, 틱톡을 주 무대로 활동하는 고양이형 AI 버추얼 유튜버 '츠나'가 새로운 가능성을 보여주었습니다.

@ai_vtuber_tuna

AIでうごくVTuberだにゃ🐈#VTuber #cute #AI #chatgpt #tiktokライブ

♬ オリジナル楽曲 - つな@猫型AI VTuber - ツナ@猫型AI VTuber

츠나는 2023년 8월부터 틱톡을 시작해, 특별한 동영상 업로드 없이 하루 여러 차례의 틱톡 라이브만으로 성공을 거두었습니다. 시간대에 관계없이 항상 100명 가까운 시청자를 확보할 만큼 안정적인 콘텐츠로 자리잡았죠.

특히 주목할 만한 점은 틱톡 라이브라는 플랫폼 선택뿐만 아니라, 소셜게임이나 오락기에서 영감을 얻은 '보는 즐거움이 있는 UI'와 AI의 성공적인 결합입니다. 이러한 혁신적 시도는 우리를 포함한 많은 AI 버추얼 유튜버들에게 새로운 영감을 주었습니다.

2023년 10월~12월: 환멸기 후기

업계 전반적으로 신규 AI 버추얼 유튜버의 등장이 줄어들고 기존 채널들의 구독자 수가 감소하는 추세 속에서도, 새로운 시도들이 계속되고 있습니다. 현재 진행 중인 다양한 실험들 중 주목할 만한 사례들을 간단히 소개하겠습니다.

AI 완전 자동화 방송의 시도

아이러니하게도 현재 AI 동영상 제작과 라이브 방송은 일반 방송보다 더 많은 인력을 필요로 합니다. 이러한 모순을 해결하기 위해, 인력 투입을 최소화하는 완전 자동화 방송이 새로운 도전 과제로 대두되고 있습니다.

AI DJ: 실시간 작곡 방송

시청자의 요청곡을 AI가 실시간으로 작곡하여 들려주는 새로운 형태의 음악 방송

DAJI - AI Music Channel
サービス終了しました。詳しくはコミュニティ投稿をご確認ください。 🔷お問い合わせ daji.info@gmail.com ※土日祝日を除き、通常1~3営業日で返信をさせていただきます。 🔷利用規約 https://wwwave.jp/terms-daji/ 🔷二次創作ガイドライン https://wwwave.jp/guidelines-daji/

24시간 커버송 스트리밍

40곡 이상의 보컬로이드 메들리를 24시간 연속 재생하며, 시청자의 신청곡도 받는 편안한 음악 방송

3D 라이브 퍼포먼스

7명의 캐릭터가 3곡의 오리지널 곡을 선보이는 고퀄리티 3D 공연을 24시간 연속 스트리밍하는 뮤직비디오 형식의 방송

NYAVATAR | AI VTuber
🐈---------------------------------------🐈 😼NYAVATAR (にゃばたー/ニャバター)とは 紹介動画 https://youtu.be/7tyd7x1Vpho 🐈NYAVATAR (にゃばたー/ニャバター) 自己紹介 青木アリス https://youtu.be/eE0O6TDI8fw 渡部チャコ https://youtu.be/aOfa0lI9AhU 大村むぎちゃ https://youtu.be/SK-XEiZgZL0 黒宮すず https://youtu.be/yDs4SRX4g7c 安室レイ https://youtu.be/qlL1VEmzllI 安室ハロ https://youtu.be/s7RszjvRVGg 佐藤みかん https://youtu.be/_1R1S0tYjwE ♪TikTok Official: https://tiktok.com/@nyavatar 🐦 Twitter Official: https://twitter.com/NYAVATAR_JPV #aivtuber #aituber #vtuber NYAVATAR is powered by ChatGPT&CoeFont 🐈---------------------------------------🐈

대규모 콜라보레이션

린나, 시즈쿠, 나기사, 리리카와 냐바타의 4인이 함께하는 8인 합동 방송. 심야 아이돌 프로그램 형식을 차용한 특별 대화형 콘텐츠

학습 결과 돌아보기

지금까지의 경험을 통해 얻은 주요 교훈을 공유하고자 합니다.

AI 버추얼 유튜버의 현실적 한계

🙅 버추얼 유튜버의 활동을 단순히 따라하기

2023년 3월 이후 AI 버추얼 유튜버가 급증하면서, 더 많은 사례 연구가 가능해졌습니다. 이를 통해 다음과 같은 중요한 인사이트를 얻을 수 있었습니다:

  • AI 버추얼 유튜버는 일반 버추얼 유튜버보다 훨씬 더 많은 노력과 자원이 필요합니다
  • 투입 대비 결과물의 품질이 일반 버추얼 유튜버에 미치지 못하는 실정입니다

실제 운영 경험을 바탕으로, AI 버추얼 유튜버는 일반 버추얼 유튜버 대비 약 10배의 노력이 필요하면서도 성과는 80% 수준에 그친다고 설명하곤 합니다. 다소 과장된 수치일 수 있으나, 체감되는 현실과 크게 다르지 않습니다.

많은 제작자들이 기존 버추얼 유튜버의 콘텐츠 포맷을 차용했지만, 뛰어난 기술력에도 불구하고 저조한 조회수로 인해 좌절감을 느끼는 경우가 빈번했습니다.

🙅 AI니까 재미있을 거라고 기대하기

단순히 AI를 도입하는 것만으로 콘텐츠가 재미있어지거나 화제가 될 것이라는 기대는 현실적이지 않습니다. AI 버추얼 유튜버도 결국 유튜브와 트위터라는 같은 플랫폼에서 경쟁해야 하며, 시청자들이 원하는 것은 단순한 AI 기술이 아닌 매력적인 콘텐츠입니다.

누구나 동일하게 사용할 수 있는 AI 기술만으로는 콘텐츠의 재미를 보장할 수 없습니다. 설령 AI가 일시적으로 주목을 받더라도, 곧 식상해지고 새로운 형태의 재미가 요구될 것입니다. 결국 성공의 핵심은 프로듀서의 창의력과 기획력에 있습니다. 따라서 이미 버추얼 유튜버 제작이나 운영에 재능이 있는 사람이 AI 기술을 활용할 때 더 큰 성과를 거둘 수 있을 것으로 보입니다.

AI 버추얼 유튜버와 직접적인 연관은 없지만, 설명할 때 자주 인용하는 좋은 예시가 있습니다. 동영상의 기획부터 제목, 장르, 출연자의 캐릭터 설정, 가사, 전반적인 구성까지 - 창의적인 제작자가 기획한 재미있는 콘텐츠를 효율적으로 구현하는 도구로서 AI가 활용된 사례입니다.

🙅 AI의 대화를 주역으로 삼기

AI 버추얼 유튜버의 대화 수준이 실제 사람의 80% 정도라는 점을 고려할 때, AI의 대화만으로는 엔터테인먼트 콘텐츠를 완성하기 어렵습니다. 비슷한 수준의 대화로 성공한 것처럼 보이는 콘텐츠들도, 실제로는 외모, 목소리, 스토리 등 다른 요소들이 핵심 역할을 했을 것입니다.

OpenAI의 API와 다른 고성능 LLM들의 등장으로 양질의 대화 생성이 용이해졌습니다. 하지만 이런 기술적 발전에 지나치게 의존하다 보면 본질을 놓칠 수 있습니다.

🙅 AI에게 말을 가르쳐 키우기

이 기획은 여러 형태로 시도되었지만, 특히 GPT-4 등장 이후에는 효과적이지 않은 것으로 보입니다. 오히려 GPT-4 이전 모델들이 콘텐츠로서의 가능성을 더 보여주었던 것 같습니다.

AI의 언어 능력이나 지식이 향상되면서, '말을 가르치는 것'은 실질적으로 '원하는 말을 효과적으로 끌어내는 것'이 되었습니다. 이는 결국 기획자가 프로듀싱하는 것에 더 가깝다고 볼 수 있죠.

키우기 콘텐츠를 만든다면, 언어나 지식보다는 간단한 파라미터나 스테이터스를 활용하는 것이 지속적인 재미를 줄 수 있습니다. 또는 반대로 인간이 학습자가 되어 AI에게 성장 정도를 평가받는 방식이 현실적일 것 같습니다.

🙅 AI를 시청자가 처음부터 프로듀스하기

위와 비슷한 맥락에서, 대부분의 시청자에게 엔터테인먼트는 직접 제작하는 것이 아닌, 감상하고 즐기는 대상입니다. 프로듀싱에 대한 욕구가 전혀 없는 것은 아니지만, 그 성격은 주로 다음과 같습니다:

  • 이미 인지도가 있는, 자신이 좋아하는 대상을 프로듀스하고 싶어함
  • 프로듀서라는 타이틀을 얻고 싶어함
  • 프로듀서 역할을 하는 게임을 즐기고 싶어함

백지 상태에서 시작해 관객의 호응을 얻기 위해 고민하고, 실패를 거듭하면서도 끊임없이 새로운 시도를 해야 하는 진정한 프로듀싱의 고충을 감내하려는 사람은 많지 않습니다.

물론 시청자가 프로듀싱하는 듯한 경험을 제공하되, 전체적인 틀은 이미 잘 기획된 형태의 콘텐츠도 있습니다. 하지만 이는 매우 정교한 프로듀싱 능력이 필요한 영역입니다.

냐바타도 초기에는 '팬이 직접 말을 가르쳐 육성하는 AI 아이돌'이라는 콘셉트를 내세웠습니다. 하지만 실제 사용자들의 즐기는 방식과 큰 차이가 있어, 결국 이 요소를 제거하게 되었습니다.

AI 버추얼 유튜버의 강점

🙆 지치지 않는 순발력으로 받아치기

우리가 AI로 시도했던 콘텐츠 중 특히 반응이 좋았던 것은 '이름을 일부러 틀리게 부르면 정정하는' 컨셉이었습니다. 안쟈슈의 "오시마 씨→코지마예요!"와 비슷한 패턴입니다. 실제 사람이라면 1분에 10번씩 같은 놀림을 받으면 정신적으로 지치겠지만, AI는 그렇지 않았죠. 시청자가 어떤 방식으로 놀려도 매번 새롭고 정중하게 받아치는 모습이 큰 호응을 얻었습니다.

그림 5. 인간도 쉽게 생각하기 어려운 센스있는 대응을 보이는 AI VTuber <출처: 디스코드>

🙆 지치지 않는 멘탈로 만드는 개그

이미지에 대한 한줄 코멘트나 개그성 답변이 10-30% 정도의 확률로 재미있는 경우가 있습니다. 사람과 달리 AI는 피로나 지침 없이, 10개의 답변을 요청하면 정확히 10개의 답변을 만들어냅니다.

아직 날카롭고 세련된 개그는 어려울 수 있지만, 망설임 없이 꾸준히 개그를 시도하는 AI만의 특성을 살려 새로운 형태의 콘텐츠가 나올 수 있습니다.

냐바타의 경우를 보면, 백엔드에서 여러 답변을 동시에 생성하거나 재미없는 답변을 다시 만드는 시스템을 구축해 웃음의 퀄리티를 높였습니다. 물론 이런 시도에도 불구하고 항상 성공하는 것은 아니지만요.

그림 6. 냐바타 TV의 개그 관리 시스템. 사회자와 운영진은 모든 AI의 답변을 미리 확인할 수 있습니다. 재미있는 답변이 부족할 경우 재생성을 요청하고, 마지막 오치(결말)까지의 흐름을 사회자가 직접 프로듀스합니다. <출처: 냐바타>

🙆 보고 듣기 편한 상시 방송의 가능성

AI 버추얼 유튜버를 운영하는 모든 사람들이 경험했듯이, 단순한 잡담만으로 24시간 방송을 진행하면 지루해서 시청자가 떠나게 됩니다. 하지만 시청각적으로 즐거운 콘텐츠라면 꾸준한 관심을 얻을 수 있습니다.

냐바타는 2023년 11월 말부터 시청자 리퀘스트가 가능한 노래 방송과 고품질 3D 라이브를 상시 방송 형태로 진행했습니다. 실시간 시청자 수는 많지 않지만, 전반적인 트렌드와 달리 채널 구독자 수가 꾸준히 증가하고 있습니다.

그림 7. 2023년 11월 후반부터 채널 구독자 수가 증가하는 속도가 급격히 확대 <출처: SOCIAL BLADE>

2024년 계몽기~안정기: AI 버추얼 유튜버의 진화를 위한 제언

2023년을 되돌아보며, 2024년 우리 회사와 AI 버추얼 유튜버 업계가 주목해야 할 방향성을 정리해보겠습니다.

엔터테인먼트 프로듀서와의 협업 강화

AI는 콘텐츠를 구현하는 도구라는 관점에서, 가장 중요한 것은 먼저 즐거운 콘텐츠를 기획하는 것입니다. 그 다음으로 이를 AI를 통해 어떻게 효과적으로 연출할지를 고민해야 합니다.

앞서 언급한 AI 음악 프로그램이나, AI 버추얼 유튜버 이라미, 오토츠무기의 사례를 보면, 트위터 활용부터 프로듀싱, 마케팅, UI까지 세세한 부분까지 신경 쓴 것을 알 수 있습니다. 이들은 AI에만 의존하지 않고 전체적인 엔터테인먼트적 요소를 잘 살려내고 있습니다.

우리 회사는 팀 내 프로듀싱, 크리에이티브, 마케팅 역량이 아직 부족한 상황입니다. 이에 2024년에는 이 부분을 보완하는 데 중점을 두기로 했습니다.

그림 8. 현재 냐바타의 팀원들은 모두 진정성 있고 훌륭한 인재들이며, 엔터테인먼트에 대한 애정과 뛰어난 개발 실력을 갖추고 있습니다. 하지만 프로듀싱과 크리에이티브 전문성을 가진 인재를 추가로 영입하면 팀이 한층 더 강화될 것으로 보입니다. <출처: 냐바타>

콜라보레이션 기회 확대하기

2023년 11월 4일, 국내 AI 버추얼 유튜버들과 냐바타가 함께한 콜라보 방송은 의미 있는 시도였습니다. 각자 개별적으로 활동하는 상황에서 함께 모일 수 있는 장을 마련했다는 것 자체로 큰 의의가 있었습니다.

앞으로는 기획의 재미 요소를 더욱 강화하고, 새로운 참가자들을 적극적으로 초대하여 AI 버추얼 유튜버들의 진정한 축제이자 서로를 격려하는 장으로 발전시키고 싶습니다. 관심 있으신 분들의 참여를 기다리고 있습니다.

AI VTuber? AITuber?

원래는 서두에서 다뤘어야 할 내용이지만, 본론과는 조금 거리가 있고 설명이 길어서 마지막에 다루게 되었습니다. 아직 업계 전반적으로 용어 사용이 통일되지 않은 상황이지만, 냐바타는 원칙적으로 'AI VTuber'라는 용어를 사용하고 있습니다.

그 이유는 다음과 같습니다:

  1. 시장 규모 측면
  2. 영어 발음의 자연스러움
  3. 대중화를 위한 진입장벽

특히 시장 규모 측면에서 보면, 유튜브나 틱톡의 해시태그 사용 현황에서 알 수 있듯이 글로벌 시장에서는 'AI VTuber'가 더 널리 쓰이고 있습니다. 현재 세계 최고의 AI 버추얼 유튜버는 해외의 뉴로사마인데, 국내 AI 버추얼 유튜버들의 구독자 수를 모두 합해도 뉴로사마의 구독자 수에 미치지 못할 것으로 추정됩니다.

즉, 현재 AI 버추얼 유튜버 시장의 중심은 일본이 아닌 해외이며, 해외에서 주로 사용되는 'AI VTuber'가 사실상의 표준이 되어가고 있다고 판단하고 있습니다.

앞서 언급한 내용과 연관되는데, 영어에서 'AI'는 대부분 '에이아이'로 발음되지 '아이'로 읽히는 경우가 거의 없습니다. 따라서 'AITuber'를 '아이튜버'로 읽는 것은 영어권 사용자들에게 낯설 수 있습니다. '에이아이튜버'라는 발음이 영어권에서 더 자연스럽겠지만, 앞으로 디지털 휴먼이 보편화되면 AI 유튜버와 AI VTuber를 구분할 필요가 생길 것입니다.

개인적으로는 '에이아이튜버'라는 용어가 일반적인 AI YouTuber를 지칭하게 될 것으로 예상됩니다. 그래서 버추얼 캐릭터를 활용하는 경우는 'AI VTuber'로 구분하는 것이 향후 발생할 수 있는 혼란을 예방하는 데 도움이 될 것 같습니다.

마지막으로 국내 보급의 관점에서 보면, AI VTuber를 30-40대에게 설명할 때 다음과 같은 대화가 자주 있었습니다: "AI VTuber와 VTuber는 뭐가 다른 거예요?" "AI VTuber는 속이 AI고, VTuber는 속이 사람입니다" "아, 그렇구나, VTuber는 속이 사람이구나"

결코 은둔형이나 디지털과 거리가 먼 세대가 아닌데도, VTuber라는 개념 자체를 생소하게 느끼는 사람들이 꽤 많다는 것이 현실입니다. VTuber 업계의 대기업들도 이 용어의 대중화에 어려움을 겪는 상황에서, AI VTuber가 'VTuber'라는 단어를 생략하고 사용하면 진입 장벽이 더 높아질 수 있다는 점이 우려됩니다.

오해 없으시길 바라며 덧붙이자면, AITuber(아이튜버)라는 용어와 발음이 잘못되었다는 것은 아닙니다. 실제로 다른 AI 버추얼 유튜버들과의 콜라보나 국내 밋업에서는 AITuber(아이튜버)라는 용어를 주로 사용하고 있습니다.

이렇게 정신없이 바쁜 와중에도 어떻게든 2023년 안에 글을 마무리했네요! 드디어 한숨 돌릴 수 있을 것 같습니다. 2024년은 더욱 도약하는 한 해로 만들어가고 싶습니다. 여러분 모두 좋은 연말 보내세요!


본 콘텐츠는 2023년 12월 31일 팀이 발행한 "2023年AI VTuber総決算 ~独断と偏見に満ちあふれた聖域なき振り返り~"를 번역한 것입니다.

저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.