[번역] a16z: 기업에서 생성형 AI를 구축하고 구매하는 방식의 16가지 변화
생성형 AI는 2023년을 강타하며 기록적인 속도로 10억 달러 이상의 소비자 지출을 달성했습니다. 2024년에는 기업의 매출 기회가 몇 배 더 커질 것으로 예상됩니다.
작년에는 소비자들이 새로운 AI 친구(https://character.ai/)와 채팅을 하거나 디퓨전 모델로 이미지와 동영상을 제작하는 데 몇 시간을 소비했습니다. 대부분의 기업에서 생성형 AI의 활용은 소수의 사용 사례, 그리고 새로운 SKU로 'GPT 래퍼' 제품을 출시하는 것에 국한되어 보였습니다. 그리고 일부 반대론자들은 생성형 AI가 엔터프라이즈로 확장될 수 있을지에 대해 의문을 제기하기도 했습니다.
여러분도 위 3가지 사용 사례에 갇혀 있지 않나요? 이런 스타트업들이 실제로 돈을 벌 수 있을까요? 모두 과대 광고 아닌가요?
지난 몇 달 동안 저희는 포춘 500대 기업 및 최고 기업의 리더들과 이야기를 나누고 70여 명을 대상으로 설문조사를 실시하여 그들이 생성형 AI를 어떻게 사용하고, 어떤 모델을 구매하고, 어느 정도의 예산을 책정하고 있는지 파악했습니다.
저희는 지난 6개월 동안 생성형 AI에 대한 리소스와 태도가 얼마나 크게 변화했는지에 놀라움을 금치 못했습니다. 리더들은 여전히 생성형 AI에 대해 약간의 의구심을 가지고 있지만, 예산을 거의 3배 가까이 늘리고, 소규모 오픈소스 모델에 배포되는 사용 사례의 수를 확대하고, 초기 실험에서 프로덕션으로 더 많은 워크로드를 전환하고 있습니다.
이는 창업자들에게 엄청난 기회입니다. 1) 기업의 페인 포인트를 파악하면서, 기업의 AI 전략 이니셔티브를 위한 모델을 구축하고, 2) 서비스 중심 접근 방식에서 확장 가능한 제품 구축으로 전환하는 AI 스타트업이 이 새로운 물결을 포착하고 상당한 시장 점유율을 확보할 수 있을 것으로 믿습니다.
항상 그렇듯이 기업용 제품을 구축하고 판매하려면 고객의 예산, 관심사, 로드맵을 깊이 이해해야 합니다. 창업자들에게 기업 리더들이 생성형 AI 배포에 대해 어떤 결정을 내리고 있는지, 그리고 AI 분야의 다른 리더들이 자신과 같은 문제에 어떻게 접근하고 있는지에 대한 정보를 제공하기 위해 최근 해당 리더들과의 대화를 통해 리소스, 모델, 사용 사례에 대해 가장 먼저 고려해야 할 16가지 사항을 아래에 정리해 보았습니다.
리소스: 생성형 AI를 위한 예산은 급격히 증가하고 있으며 앞으로도 계속 증가할 것입니다
1. 생성형 AI에 대한 예산이 급증하고 있습니다.
2023년, 저희와 대화를 나눈 수십 개의 기업에서 기초 모델 API, 자체 호스팅 및 미세조정 모델에 대한 평균 지출은 7백만 달러였습니다. 또한 거의 모든 기업에서 생성형 AI 실험의 초기 결과가 유망하다고 판단하여 2024년에 더 많은 워크로드를 프로덕션에 배포하기 위한 지출을 2배에서 5배까지 늘릴 계획을 갖고 있습니다.
2. 리더들은 반복적인 소프트웨어 예산 항목에 AI 투자를 재할당하기 시작했습니다.
작년에 기업 생성형 AI 지출의 대부분은 당연히 '혁신' 예산과 기타 일회성 자금 풀에서 나왔습니다. 그러나 2024년에는 많은 리더들이 이러한 지출을 보다 영구적인 소프트웨어 항목에 재할당하고 있으며, 올해에는 4분의 1 미만이 혁신 예산에서 생성형 AI 지출을 할 것이라고 응답했습니다.
훨씬 더 작은 규모지만 일부 리더들은 특히 고객 서비스 분야에서 인건비 절감에 대비해 생성형 AI에 예산을 할당하고 있습니다. 이러한 추세가 지속된다면 향후 생성형 AI에 대한 지출이 크게 증가할 것이라는 전조라고 생각합니다. 어떤 기업은 LLM 기반 고객 서비스를 통해 콜(Call) 당 6달러, 총 90%의 비용을 절감한 사례를 생성형 AI에 대한 투자를 8배로 늘린 이유로 꼽았습니다.
다음은 기업들이 LLM 지출을 내부에서 어떻게 배분하고 있는지에 대한 전반적인 분석입니다:
3. ROI 측정은 여전히 예술이자 과학입니다.
기업 리더들은 현재 대부분 AI로 인한 생산성 향상으로 ROI를 측정하고 있습니다. 이들은 좋은 대리 지표로 NPS와 고객 만족도에 의존하고 있지만, 사용 사례에 따라 수익 창출, 비용 절감, 효율성 및 정확성 향상과 같은 보다 실질적인 수익을 측정할 수 있는 방법을 모색하고 있습니다.
단기적으로는 리더들이 아직 이 기술을 도입하고 수익을 정량화하는 데 사용할 최적의 지표를 찾고 있지만, 향후 2~3년 동안 ROI는 점점 더 중요해질 것입니다. 리더들이 이 질문에 대한 답을 찾고 있는 동안, 많은 사람들이 직원들이 시간을 더 잘 활용하고 있다고 말하는 것을 믿고 있습니다.
4. 생성형 AI를 구현하고 확장하려면 적절한 기술 인재가 필요하지만, 현재 많은 기업에서는 이러한 인재를 사내에 보유하고 있지 않습니다.
단순히 모델 제공업체에 API를 제공받는 것만으로는 생성형 AI 솔루션을 대규모로 구축하고 배포하는 데 충분하지 않습니다. 생성형 AI에 필요한 컴퓨팅 인프라를 구현, 유지 관리 및 확장하려면 고도로 전문화된 인재가 필요합니다.
구현 분야는 2023년 AI 지출에서 가장 큰 비중을 차지하는 분야 중 하나이며, 경우에 따라서는 가장 큰 비중을 차지하기도 했습니다. 한 경영진은 "LLM 비용은 사용 사례 구축 비용의 4분의 1에 불과하다"라며 개발 비용이 예산의 대부분을 차지한다고 언급했습니다.
기업에서 생성형 AI 모델 도입을 시작하고 실행하는 데 도움을 주기 위해 모델 제공업체는 일반적으로 맞춤형 모델 개발과 관련된 전문 서비스를 제공했으며 지금도 제공하고 있습니다. 이는 2023년 이들 기업의 수익에서 상당한 부분을 차지할 것으로 추정되며, 성과 외에도 기업이 특정 모델 제공업체를 선택한 주요 이유 중 하나입니다. 기업에서 적절한 생성형 AI 인재를 확보하기가 매우 어렵기 때문에, 사내에서 생성형 AI 개발을 쉽게 할 수 있는 툴을 제공하는 스타트업이 더 빠르게 채택될 가능성이 높습니다.
모델: 기업들은 멀티 모델과 오픈 소스를 지향하는 추세입니다.
5. 미래는 멀티 모델
불과 6개월 전만 해도 대다수의 기업은 한 가지 모델(보통 OpenAI)이나 기껏해야 두 가지 모델을 실험하고 있었습니다. 오늘날 기업 리더들과 이야기를 나눠보니, 이들은 모두 여러 모델을 테스트하고 있습니다.
경우에 따라서는 프로덕션 환경에서도 사용하고 있었는데, 이를 통해 1) 성능, 규모, 비용에 따라 사용 사례를 맞춤화하고, 2) 락인되는 것을 피하며, 3) 빠르게 변화하는 분야의 발전을 빠르게 활용할 수 있었습니다.
이 세 번째 사항은 특히 리더들에게 중요한데, 모델 순위표는 역동적이며 기업들은 최상의 결과를 얻기 위해 현재의 최신 모델과 오픈 소스 모델을 모두 통합하기를 원하기 때문입니다.
기업은 앞으로도 더 많은 모델을 도입할 것입니다. 설문조사 데이터에서 추출한 아래 표에서 기업 리더들은 테스트 중인 여러 모델을 보고했으며, 이는 워크로드를 프로덕션에 도입하는 데 사용될 모델의 선행 지표가 됩니다.
프로덕션 사용 사례의 경우, 예상대로 OpenAI가 여전히 압도적인 시장 점유율을 차지하고 있습니다.
6. 오픈소스가 급성장하고 있습니다.
이는 지난 6개월 동안 가장 놀라운 지형 변화 중 하나입니다. 2023년 시장 점유율은 클로즈드 소스가 80~90%이며 OpenAI가 대부분을 차지할 것으로 예상됩니다. 그러나 설문조사 응답자의 46%는 2024년에는 오픈소스 모델을 선호한다고 답했습니다.
약 60%의 리더는 인터뷰에서 오픈소스 사용을 늘리거나 미세하게 조정된 오픈소스 모델이 클로즈드 소스 모델의 성능과 거의 비슷해지면 전환할 의향이 있다고 답했습니다.
2024년 이후에는 기업들은 오픈 소스로의 상당한 사용 전환을 예상하고 있으며, 일부는 2023년 80% 클로즈드 소스/20% 오픈 소스에서 50 대 50을 목표로 삼고 있습니다.
7. 비용도 분명 오픈소스 채택에 영향을 미쳤지만, 다른 기준인 제어 및 커스터마이제이션보다 낮은 순위를 차지했습니다.
오픈소스를 채택하는 주요 이유로 제어(독점 데이터의 보안 및 모델이 특정 결과를 산출하는 이유 이해)와 커스터마이제이션(특정 사용 사례에 맞게 효과적으로 미세조정하는 기능)이 비용보다 훨씬 더 큰 영향을 미쳤습니다.
비용이 최우선 순위가 아니라는 사실에 놀랐지만, 이는 생성형 AI가 창출하는 초과 가치가 가격을 훨씬 능가할 것이라는 경영진의 현재 확신을 반영하는 결과입니다.
한 임원은 다음과 같이 설명했습니다: "정확한 답을 얻는 것은 그만한 가치가 있습니다."
8. 컨트롤에 대한 욕구는 민감한 사용 사례와 기업 데이터 보안 문제에서 비롯됩니다.
기업들은 여전히 규제나 데이터 보안 우려로 인해 클로즈드 소스 모델 제공업체와 독점 데이터를 공유하는 것을 꺼리고 있으며, 당연히 IP가 비즈니스 모델의 핵심인 기업들은 특히 더 보수적인 태도를 보입니다.
일부 리더는 오픈 소스 모델을 직접 호스팅하여 이러한 우려를 해결한 반면, 다른 리더는 가상 프라이빗 클라우드(VPC)가 통합된 모델을 우선적으로 고려하고 있다고 언급했습니다.
9. 리더들은 일반적으로 처음부터 모델을 구축하는 대신 미세조정을 통해 모델을 맞춤화합니다.
2023년에는 블룸버그GPT와 같은 맞춤형 모델 구축에 대한 논의가 많았습니다. 2024년에도 기업들은 여전히 모델 커스터마이징에 관심이 있지만, 고품질 오픈 소스 모델의 등장으로 대부분의 기업은 처음부터 자체 LLM을 학습시키지 않고 검색 증강 생성(RAG)을 사용하거나 특정 요구 사항에 맞게 오픈 소스 모델을 미세조정하는 방법을 택하고 있습니다.
10. 클라우드는 여전히 모델 구매 결정에 큰 영향을 미칩니다.
2023년에는 많은 기업이 보안상의 이유로 기존 클라우드 서비스 제공업체(CSP)를 통해 모델을 구매했으며, 리더들은 CSP보다 클로즈드 소스 모델이 데이터를 잘못 처리할 것을 더 우려하고 긴 조달 프로세스를 피하기 위해 모델을 구매했습니다.
이는 2024년에도 마찬가지이며, 이는 CSP와 선호하는 모델 간의 상관관계가 상당히 높다는 것을 의미합니다: 애저 (Azure) 사용자는 일반적으로 OpenAI를 선호한 반면, 아마존 (Amazon) 사용자는 Anthropic 또는 Cohere를 선호했습니다.
아래 차트에서 볼 수 있듯이, API를 사용하여 모델에 액세스하는 기업의 72% 중 절반 이상이 CSP가 호스팅하는 모델을 사용했습니다. (응답자의 4분의 1 이상이 오픈 소스 모델을 실행하기 위해 자체 호스팅을 사용)
11. 고객은 여전히 출시 초기 기능을 중요하게 생각합니다.
리더들은 특정 모델을 채택하는 가장 큰 이유로 추론 기능, 신뢰성, 접근 용이성(예: CSP)을 꼽았지만, 다른 차별화된 기능을 갖춘 모델에 대한 선호도도 높았습니다.
예를 들어, 다수의 리더는 이전 20만 개의 컨텍스트 창을 채택의 주요 이유로 꼽았으며, 다른 리더는 시장 출시 초기에 사용하기 쉬운 미세조정 기능 때문에 Cohere를 채택했습니다.
12. 즉, 대부분의 기업은 모델 성능이 수렴하고 있다고 생각합니다.
기술 커뮤니티의 대다수가 모델 성능을 공개 벤치마크와 비교하는 데 집중하는 반면, 기업 리더들은 미세조정된 오픈 소스 모델과 클로즈드 소스 모델의 성능을 자체 내부 벤치마크 세트와 비교하는 데 더 집중하고 있습니다.
흥미로운 점은 일반적으로 외부 벤치마킹 테스트에서 클로즈드 소스 모델이 더 나은 성능을 보임에도 불구하고 기업 리더들은 특정 사용 사례에 맞게 미세조정하기 쉽다는 이유로 오픈 소스 모델에 상대적으로 높은 NPS(경우에 따라서는 더 높은 수치)를 부여했습니다.
한 기업에서는 "미세조정 후 Mistral과 Llama의 성능이 OpenAI와 거의 비슷하지만 비용은 훨씬 저렴하다"는 사실을 발견했습니다. 이러한 기준에 따르면 모델 성능은 예상보다 훨씬 더 빠르게 수렴하고 있으며, 이를 통해 리더는 매우 뛰어난 성능의 모델을 폭넓게 선택할 수 있습니다.
13. 옵션 최적화
대부분의 기업은 모델 간 전환이 API 변경만으로 가능하도록 애플리케이션을 설계하고 있습니다. 일부 기업은 사전 테스트를 통해 말 그대로 스위치만 누르면 변경이 이루어지도록 하고 있으며, 필요에 따라 다양한 앱에 모델을 배포할 수 있는 '모델 가든(Model Gardden)'을 구축한 기업도 있습니다.
기업들이 이러한 접근 방식을 취하는 이유는 부분적으로는 클라우드 시대에서 공급업체에 대한 의존도를 줄여야 한다는 뼈아픈 교훈을 얻었기 때문이고, 부분적으로는 시장이 너무 빠른 속도로 진화하고 있어 단일 공급업체에 전념하는 것이 현명하지 않다고 느끼기 때문입니다.
사용 사례: 프로덕션으로 마이그레이션하는 사례 증가
14. 기업들은 현재 앱을 구매하지 않고 구축하고 있습니다.
기업들은 압도적으로 자체 애플리케이션을 구축하는 데 집중하고 있으며, 그 이유 중 하나로 다양한 분야에서 검증된 엔터프라이즈 AI 애플리케이션이 부족하다는 점을 꼽았습니다.결국, 이와 같은 앱을 위한 매직 쿼드런트는 아직 없습니다.
또한 파운데이션 모델은 API를 제공함으로써 기업이 그 어느 때보다 쉽게 자체 AI 앱을 구축할 수 있도록 했습니다. 이제 기업들은 고객 지원 및 내부 챗봇과 같은 익숙한 사용 사례의 자체 버전을 구축하는 한편, CPG 레시피 작성, 판매 추천과 같은 보다 새로운 사용 사례도 실험 중입니다.
'GPT 래퍼', 즉 잘 알려진 LLM의 결과물(예: 문서 요약)에 친숙한 인터페이스(예: 챗봇)를 구축하는 스타트업의 차별화 한계에 대해 많은 글이 작성되었는데, 이러한 스타트업이 어려움을 겪을 것으로 예상되는 이유 중 하나는 AI가 유사한 애플리케이션을 사내에 구축하는 장벽을 더욱 낮추었기 때문입니다.
그러나 더 많은 기업용 AI 앱이 시장에 출시되면 이러한 상황이 바뀔지는 아직 미지수입니다. 한 리더는 사내에서 많은 사용 사례를 구축하고 있지만 "새로운 도구가 등장할 것"이라고 낙관하며 "현존하는 최고의 도구를 사용하는 것"을 선호한다고 언급했습니다.
또 다른 리더는 기업이 기존처럼 외부 공급업체에 의존하는 대신 특정 기능을 사내에 도입할 수 있는 '전략적 도구'로 생성형 AI가 점점 더 중요해지고 있다고 생각합니다. 이러한 역학 관계를 고려할 때, 'LLM + UI' 공식을 뛰어넘어 기업의 기본 워크플로우를 크게 혁신하거나 기업이 자체 데이터를 더 잘 활용할 수 있도록 지원하는 앱이 이 시장에서 특히 좋은 성과를 거둘 것으로 예상됩니다.
15. 기업들은 내부 사용 사례에 대해서는 기대가 크지만 외부 사용 사례에 대해서는 여전히 신중한 태도를 보이고 있습니다.
그 이유는 1) 환각과 안전성에 대한 잠재적 문제, 2) 특히 민감한 소비자 부문(예: 의료 및 금융 서비스)에 생성형 AI를 도입할 때 발생하는 홍보 문제라는 두 가지 주요 우려가 여전히 기업에서 크게 작용하고 있기 때문입니다.
지난해 가장 인기 있었던 사용 사례는 내부 생산성에 초점을 맞추거나 코딩 코파일럿, 고객 지원, 마케팅과 같이 고객에게 도달하기 전에 사람을 거치는 방식이었습니다.
아래 차트에서 볼 수 있듯이 2024년에도 이러한 사용 사례가 여전히 기업에서 주류를 이루고 있으며, 기업들은 텍스트 요약 및 지식 관리(예: 내부 챗봇)와 같은 완전히 내부적인 사용 사례를 계약서 검토와 같은 민감한 사람에 의한 사용 사례나 외부 챗봇 또는 추천 알고리즘과 같은 고객 대면 사용 사례보다 훨씬 높은 비율로 생산에 적용하고 있습니다.
기업들은 에어캐나다 고객 서비스 사고와 같은 AI 사고로 인한 후유증을 피하고 싶어 합니다. 이러한 우려는 여전히 대부분의 기업에게 큰 문제로 남아 있기 때문에 이러한 문제를 컨트롤할 수 있는 툴을 구축하는 스타트업은 상당한 채택률을 보일 수 있습니다.
총 기회의 규모: 방대하고 빠르게 성장
16. 2024년 말까지 모델 API 및 미세조정에 대한 총 지출이 50억 달러 이상으로 증가할 것으로 예상되며, 기업 지출이 이 기회에서 상당 부분을 차지할 것으로 예상됩니다.
저희의 계산에 따르면, 모델 API(미세조정 포함) 시장은 2023년 말 애저를 통한 OpenAI 모델에 대한 지출을 포함하여 약 15~20억 달러 정도의 매출을 기록할 것으로 예상됩니다.
전체 시장의 예상 성장률과 기업의 구체적인 징후를 고려할 때, 이 분야에 대한 지출만 연말까지 최소 50억 달러로 증가할 것이며, 상당한 상승 잠재력을 가지고 있습니다.
앞서 살펴본 바와 같이, 기업들은 생성형 AI 배포에 우선순위를 두고 예산을 늘려, 기업에서 사용하는 표준 소프트웨어 부문에 할당하고, 다양한 모델에 걸쳐 사용 사례를 최적화했으며 2024년에는 더 많은 워크로드를 생산에 투입할 계획입니다.
지난 6개월 동안 기업들은 하향식으로 생성형 AI 솔루션을 찾고 배포하라는 지침을 내렸습니다. 과거에는 1년 이상 걸리던 거래가 2~3개월 만에 성사되고 있으며, 이러한 거래는 과거에 비해 훨씬 더 큰 규모로 이루어지고 있습니다.
이 글에서는 기초 모델 계층에 초점을 맞추었지만, 기업에서 이러한 기회는 미세조정을 지원하는 툴링, 모델 제공, 애플리케이션 구축, 특수 목적의 AI 네이티브 애플리케이션에 이르기까지 스택의 다른 부분으로 확장될 수 있다고 생각합니다. 우리는 엔터프라이즈에서 생성형 AI의 변곡점에 서 있으며, 이 역동적이고 성장하는 시장에 서비스를 제공하는 차세대 기업들과 협력하게 되어 기쁩니다.
본 콘텐츠는 2024년 3월 21일 a16z에서 발행한 "16 Changes to the Way Enterprises Are Building and Buying Generative AI"를 번역한 것입니다. 저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.