a16z, 27세 중국인 CEO와 대화: AI 에이전트는 큰 영향력을 발휘합니다.

장기적으로는 실제로 인간과 같은 초지능적인 에이전트를 만들면 에 무언가를 보여주고, 설명하고, 피드백을 주면 머릿속에 있는 정보를 업데이트할 수 있습니다.

유능한 인간 팀원이 처음 입사하면 몇 가지를 가르쳐주고 일을 시작하게 한 다음 피드백을 주고 새로운 정보를 보여준다고 상상할 수 있습니다.

결국에는 이런 방향으로 나아갈 것입니다--. 자연어에 기반한 대화가 더욱 많아지고, 사람들이 서로 소통하는 방식이 더욱 자연스러워질 것입니다. 그리고 사람들은 더 이상 작동은 하지만 충돌이 발생하기 쉬운 복잡한 의사 결정 트리를 사용하여 요구 사항을 캡처하지 않게 될 것입니다.

이전에는 대규모 언어 모델이 없었기 때문에 이러한 작업을 수행해야 했습니다. 하지만 이제 Agent가 계속 발전함에 따라 사용자 경험(UX)과 사용자 인터페이스(UI)는 더 많은 대화를 나눌 수 있게 될 것입니다.

Derrick Harris:안녕하십니까, 여러분, A16z AI에 오신 것을 환영합니다. span text="">팟캐스트입니다. 저는 Derrick Harris이고, 오늘 방송에서는 와 이야기할 것입니다. "">Decagon의 공동 창립자 겸 CEO인 Jesse Zhang입니다. span>및 a16za16z파트너. span>김벌리 탄이 토론에 참여합니다. 김벌리가 토론을 중재하고 JesseDecagon이 구축 경험을 공유할 것입니다. 회사와 제품에 대한 경험을 공유합니다.

잘 모르신다면데카곤DecagonAI 에이전트를 제공하는 회사를 제공하여 고객 지원 스타트업을 지원합니다. 이 에이전트는 챗봇도 아니고 단일도 아닙니다. span text="">API콜LLM< span text="">패키지가 아닌 고도로 맞춤화된 고급 에이전트로 회사별 필요에 따라 복잡한 워크플로우를 처리할 수 있습니다. 프로세스.

Decagon을 만든 이유를 설명하는 것 외에도Decagon< 그리고 어떻게 다른 LLM를 처리하도록 아키텍처가 설계되었는지에 대해 설명합니다. text=""> 및 고객 환경을 제쳐두고,제스대화당 지불 비즈니스 모델의 장점에 대해서도 이야기했으며,AI 에이전트가 고객 지원 리더에게 필요한 스킬을 어떻게 변화시킬 것인지에 대해서도 설명했습니다.

또한 주목할 만한 점은 김벌리

이 문서는 비즈니스 프로세스에서 자동화가 어떻게 발전할 수 있는지 이해하는 데 좋은 출발점이 되며, 쇼 노트에 링크를 제공할 것입니다. 마지막으로, 이 문서의 내용은 정보 제공 목적으로만 제공되며 법률, 비즈니스, 세금 또는 투자 조언으로 간주되어서는 안 되며, 투자나 보안을 평가하는 데 사용되어서는 안 됩니다. a16z< span text="">펀드 투자자 또는 잠재적 투자자를 대상으로 합니다.

제스 장: 저에 대해 간략히 소개합니다. 저는 볼더에서 태어나고 자랐으며 많은 수학 경시대회 등에 참가하며 자랐습니다. 하버드에서 컴퓨터 공학을 공부한 후 a16z의 지원을 받아 회사를 설립했습니다. 결국 Niantic에 인수되었습니다.

그런 다음 Decagon을 구축하기 시작했습니다. 저희 비즈니스는 고객 서비스를 위한 AI 에이전트를 구축하고 있습니다. 처음에 우리는 우리 자신과 매우 가까운 일을 하고 싶었기 때문에 이 일을 시작했습니다.

고객 서비스에서 AI 에이전트의 역할은 물론 누구에게도 교육할 필요가 없겠죠? 우리 모두는 항공사, 호텔 등과 전화 통화를 해본 경험이 있습니다. 그래서 거기서 아이디어가 떠올랐죠.

우리는 어떤 제품을 만들어야 하는지 정확히 이해하기 위해 많은 고객과 이야기를 나눴습니다. 특히 눈에 띄었던 점 중 하나는 AI 에이전트에 대해 더 많이 알게 되면서 앞으로 많은 AI 에이전트가 등장할 미래에 대해 생각하기 시작했다는 점입니다. "">상황이 어떻게 될지 말이죠. 앞으로 많은 AI 에이전트가 등장할 것이라고 모두가 믿고 있다고 생각합니다.

우리에게는  AI 와 관련하여 일하는 사람들이 무엇을 할 것인지 생각해 볼 필요가 있습니다. 에이전트로 일하는 직원들은 어떤 일을 할까요? 어떤 종류의 도구를 사용할까요? 함께 작업하거나 관리하는 에이전트를 어떻게 제어하거나 볼 수 있을까요?

이것이 바로 우리가 회사를 설립한 핵심입니다. 그리고 이러한 AI 에이전트를 구축하기 위해 함께 일하는 사람들이 이러한 에이전트를 구성하는 데 도움이 되는 모든 종류의 도구를 제공하기 때문에 이것이 현재 우리를 차별화하는 요소라고 생각합니다.">. span leaf="">가 검은 상자가 되지 않도록 구성할 수 있도록 지원합니다. 이것이 바로 우리가 브랜드를 구축하는 방법입니다.

Derrick Harris:이전 회사는 소비자 대상 비디오 회사였는데 엔터프라이즈 소프트웨어 분야로 옮기게 된 계기는 무엇인가요?

Jesse Zhang: 좋은 질문입니다. 저는 창업자들이 주제를 선택할 때 종종 주제에 구애받지 않는 경우가 더 많다고 생각합니다. 사실 새로운 분야를 접할 때는 일반적으로 더 순진하기 때문입니다. 따라서 새로운 관점에서 사물을 보는 것은 장점이 있습니다. 그래서 콘셉트를 구상할 때 제한이 없는 주제는 거의 없습니다.

저를 포함해 정량적 배경을 가진 사람들에게서 흔히 볼 수 있는 패턴이라고 생각합니다. 소비자 제품을 사용해 본 후에는 좀 더 구체적인 문제가 있는 엔터프라이즈 소프트웨어에 더 끌리는 경향이 있습니다.

실제 요구 사항과 예산 등이 있는 실제 고객이 있고, 그에 맞게 최적화하고 문제를 해결할 수 있습니다. 소비자 시장도 매력적이지만, 직관에 기반하고 실험에 의해 주도되지 않습니다. 제 개인적으로는 엔터프라이즈 소프트웨어가 훨씬 더 적합합니다.

김벌리 탄:먼저, 이 질문부터 시작할 수 있습니다.Decagon오늘날 처리하는 가장 일반적인 지원 범주는 무엇인가요? 이러한 문제를 해결하기 위해 대규모 언어 모델(LLM)을 어떻게 사용하고 있는지, 그리고 이전에는 할 수 없었던 일을 지금은 할 수 있는지 자세히 말씀해 주시겠어요? 이전에는 할 수 없던 일을 할 수 있을까요?

Jesse Zhang: 이전 자동화를 되돌아보면 의사 결정 트리를 사용하여 어떤 경로를 선택할지 결정하는 것과 같은 간단한 작업을 수행했을 수 있습니다. 하지만 우리 모두 챗봇을 사용해본 경험이 있을 것이고, 이는 상당히 실망스러운 경험이 될 수 있습니다.

의사결정 트리로 문제를 완전히 해결할 수 없는 경우가 많습니다. 그래서 결국 문제와 관련이 있지만 적합하지 않은 경로로 안내를 받게 됩니다. 이제 우리는 대규모 언어 모델(LLM)을 갖게 되었습니다. LLM의 마법은 매우 유연하고 다양한 상황에 맞게 조정할 수 있으며 기본적인 지능을 가지고 있다는 것입니다.

이를 고객 지원에 적용하거나 고객이 질문할 때 보다 개인화된 서비스를 제공할 수 있습니다. 첫 번째 요점은 개인화 수준이 훨씬 높아진다는 점입니다. 이를 통해 더 높은 지표를 얻을 수 있습니다. 더 많은 문제를 해결할 수 있고, 고객은 더 행복해지며, 고객 만족도가 높아집니다.

다음 자연스러운 단계는 이러한 지능을 갖추면 인간이 할 수 있는 일을 더 많이 할 수 있어야 한다는 것입니다. 인간이 할 수 있는 일은 실시간으로 데이터를 가져오고, 조치를 취하고, 여러 단계를 거쳐 추론할 수 있다는 것입니다. 고객이 비교적 복잡한 질문을 하는 경우, "이것을 하고 싶고 저것을 하고 싶어요""". "">와 AI는 첫 번째 것만 처리할 준비가 되어 있습니다. LLM은 여기에 두 가지 문제가 있다는 것을 인식할 만큼 똑똑합니다. 먼저 첫 번째 문제를 해결한 다음 두 번째 문제를 해결하는 데 도움을 줍니다.

LLM이 등장하기 전에는 기본적으로 불가능한 일이었습니다. 이제 우리는 LLM의 등장으로 인해 기술의 성능이 한 단계 업그레이드된 것을 보고 있습니다.

김벌리 탄:이 맥락에서 AI 에이전트를 어떻게 정의하나요? 의? "에이전트"라는 용어가 워낙 널리 사용되기 때문에, 데카곤이 문맥에서 정확히 무슨 뜻인가요?

제스 장: Agent는 여러 LLM에 대한 참조에 가깝다고 말하고 싶습니다. ="">(대규모 언어 모델) 시스템이 하나로 함께 작동하는 것을 의미합니다. 기본적으로 프롬프트를 보내고 응답을 받는 방식으로 LLM 호출을 수행합니다. 상담원의 경우 이러한 호출을 여러 개, 심지어 재귀적으로 연결할 수 있기를 원할 것입니다.

예를 들어 이 메시지로 수행할 작업을 결정하는 LLM콜이 있고, 이 콜이 다른 콜을 트리거할 수 있다고 가정해 봅시다. 이러한 호출은 더 많은 데이터를 가져오고, 작업을 수행하고, 사용자가 말한 내용을 반복하고, 후속 질문을 할 수도 있습니다. 따라서 Agent는 거의 LLM 호출로 이해할 수 있으며, API 호출 또는 더 나은 경험을 제공하기 위해 함께 작동하는 기타 논리적 네트워크를 의미합니다.

김벌리 탄:이 주제에서는 여러분들이 실제로 구축하는 것에 대해 더 많이 이야기할 수 있을 것 같습니다Agent인프라. 제가 생각하는 정말 흥미로운 점 중 하나는 AI 에이전트에 대한 데모가 시중에 많이 나와 있다는 점입니다, . 하지만 실제로 프로덕션 환경에서 일관되게 작동하는 예는 거의 없다고 생각합니다. 그리고 외부에서는 무엇이 진짜이고 무엇이 그렇지 않은지 알기 어렵습니다.

자신의 의견으로는 오늘의 AI 에이전트는. span>는 어떤 분야에서 잘하고 있으며, 더 강력하고 신뢰할 수 있도록 하기 위해 아직 기술 혁신이 필요한 분야는 무엇이라고 생각하십니까?

제스 장: 제 견해는 사실 조금 다른데, AI 에이전트가 단지 데모인지 아니면. "실제 작업"대부분의 사람들이 거의 동일한 기술로 작업하고 있다고 생각하기 때문에 기술 스택에 전적으로 차이가 있는 것은 아닙니다. 저희처럼 회사 개발이 1년 이상 진행되면 매우 구체적이고 사용 사례에 맞는 무언가를 만들 수 있다고 생각합니다.

하지만 결국에는 모두가 같은 모델에 액세스하고 비슷한 기술을 사용할 수 있습니다. AI 에이전트가 효과적으로 작동할 수 있는지 여부의 가장 큰 차별점은 사용 사례의 형태에 있다고 생각합니다. 처음에는 이를 알기 어렵지만, 되돌아보면 데모를 넘어 실제 애플리케이션에 적용하는 데 중요한 두 가지 속성이 있다는 것을 알 수 있습니다.

첫 번째는 해결하려는 사용 사례의 ROI(투자 수익률)를 정량화할 수 있어야 한다는 것입니다. ROI를 정량화할 수 없다면 사람들이 실제로 제품을 사용하고 비용을 지불하도록 설득하기가 매우 어렵기 때문에 이것은 매우 중요합니다. 저희의 경우 정량화할 수 있는 지표는 지원 요청 중 몇 퍼센트의 문제를 해결했는가입니다. 이 수치가 명확하기 때문에 사람들은 -오, 더 많이 해결하면 그 결과를 현재 지출, 소요 시간과 비교할 수 있겠구나, 라고 이해할 수 있습니다. 따라서 이 지표를 사용할 수 있다면 우리에게 매우 중요한 또 다른 지표는 고객 만족도입니다. ROI를 쉽게 정량화할 수 있다면 사람들은 실제로 이를 채택할 것이기 때문입니다.

두 번째 요소는 사용 사례가 점진적이어야 한다는 점입니다. 초기에 거의 100% 해결하여 초인적인 수준에 도달하기 위해 에이전트가 필요한 경우. 스팬 리프="">사용 사례를 해결하는 것도 매우 어렵습니다. 아시다시피, LLM은 비결정적이기 때문에 일종의 비상 계획이 있어야 합니다. 다행히도 지원 사용 사례의 좋은 점 중 하나는 언제든지 문제를 인간 고객 서비스 팀에 에스컬레이션할 수 있다는 것입니다. 문제의 절반만 해결할 수 있더라도 이는 사람들에게 매우 가치 있는 일입니다.

따라서 지원 사용 사례는 AI 에이전트에 매우 적합한 기능을 가지고 있다고 생각됩니다. 그 외에도 사람들이 인상적인 데모를 만들 수 있는 영역이 많기 때문에 자세히 살펴보지 않아도 왜 AI 에이전트가 유용한지 이해할 수 있다고 생각합니다. 하지만 처음부터 완벽해야 한다면 이는 어려운 일입니다. 완벽하지 않을 경우 보안 문제와 같은 매우 심각한결과를 초래할 수 있기 때문에 아무도 시도하거나 사용하지 않으려 할 것입니다.

예를 들어, 사람들은 시뮬레이션을 할 때 항상 다음과 같은 고전적인 생각을 하게 됩니다. LLM이 이걸 읽을 수 있다면 얼마나 좋을까요? 그러나 누가 이렇게 말할지는 상상하기 어렵습니다."웰, < span leaf="">AI 에이전트, 해보세요. 할 수 있을 거라고 확신합니다. "한 번 실수하면 그 결과는 매우 심각할 수 있으니까요.

제스 장:이것은 보통 고객에게 맡기는데, 실제로 많은 변수가 있습니다. 극단적인 예로, 어떤 사람들은 자신의 에이전트를 정말 사람처럼 보이게 만들어서 사람 아바타, 사람 이름을 사용하고 응답도 자연스럽게 하기도 합니다. 반면에 에이전트는 자신을 AI로 직접 식별하고 사용자에게 이를 명시적으로 알려줍니다. 우리와 함께 일하는 회사마다 이에 대한 입장이 다르다고 생각합니다.

규제 대상 산업에 종사하는 경우 이를 명확히 밝혀야 하는 경우가 많습니다. 지금 흥미로운 점은 고객 행동이 변화하고 있다는 점입니다. 많은 고객들이 다음과 같은 소셜 미디어 피드백을 많이 받고 있기 때문입니다."오, 세상에, 이렇게 현실감 있는 채팅 경험은 처음이에요""오! "또"마법 같았어요"". span>. 이제 고객들도 AI경험이라면 실제로 사람보다 더 나을 수도 있다는 사실을 알게 되었으니 이들에게도 좋은 일이죠. 과거에는 대부분의 사람들이 전화 고객 서비스 경험을 해봤기 때문에 과거에는 그렇지 않았습니다."웰,AI AI, AI..."

김벌리 탄:1층에서는 동일한 기술 아키텍처를 사용하지만 지원 서비스 측면에서는 서로 다른 개인화 요구가 있는 개인화라는 개념을 몇 번 언급하셨습니다. 이에 대해 조금 더 자세히 설명해 주시겠어요? 구체적으로 어떻게 하면 온라인에서 사람들이 이렇게 말할 수 있을 정도로 개인화를 달성할 수 있을까요? ""세상에, 지금까지 경험한 지원 경험 중 최고입니다!"라고 말할 수 있을 정도인가요? "지금껏 경험한 최고의 지원 경험인가요?

Jesse Zhang: 우리의 경우 개인화는 사용자 맞춤화에서 비롯됩니다. 사용자의 배경 정보, 즉 추가 컨텍스트를 알아야 합니다. 둘째, 고객의 비즈니스 로직도 이해해야 합니다. 이 두 가지를 결합하면 꽤 좋은 경험을 제공할 수 있습니다.

이것은 간단하게 들리지만 실제로 필요한 모든 컨텍스트를 확보하는 것은 매우 어렵습니다. 따라서 대부분의 작업은 특정 고객이 시스템을 배포할 때 쉽게 결정할 수 있도록 올바른 기본 구성 요소를 구축하는 방법입니다. 오케이, 우리가 원하는 비즈니스 로직은 다음과 같습니다. leaf="">"이 네 단계를 먼저 수행해야 하고 3단계가 실패하면 5단계로 넘어가야 하는 식이죠.

귀하는 AI를 매우 쉽게 가르칠 수 있고, 또한 다음과 같은 정보에 액세스할 수 있기를 원합니다. span>"이 사용자의 계정 정보입니다. 더 많은 정보에 액세스해야 하는 경우 이러한 API"를 호출할 수 있습니다. 이러한 레이어는 모델 위에 있는 오케스트레이션 레이어로, 어떻게든 에이전트를 실제로 사용할 수 있게 해줍니다.

김벌리 탄:이 경우 비즈니스 시스템에 대한 많은 액세스 권한이 필요한 것 같습니다. 사용자에 대한 많은 정보를 알아야 하고, 고객이 실제로 사용자와 상호 작용하는 방식에 대해서도 알아야 합니다. 이러한 데이터는 매우 민감할 수 있다고 생각합니다.

기업 고객이 배포할 때 원하는 AI 에이전트일반적으로 어떤 보증이 필요한가요? 그리고 특히 솔루션이 더 나은 경험을 제공하지만 처음 에이전트를 사용하는 많은 사람들에게 이러한 문제에 접근하는 가장 좋은 방법은 무엇이라고 생각하시나요?"사람들에게 완전히 새로운 경험입니다.

제스 장: 가드 레일과 정말 관련이 있습니다가드 레일. 시간이 지남에 따라 이러한 구현을 많이 해왔기 때문에 고객이 중요하게 생각하는 보호 유형을 명확하게 파악할 수 있게 되었습니다.

예를 들어 가장 간단한 것 중 하나는 항상 지켜야 하는 규칙이 있을 수 있다는 것입니다. 금융 서비스 회사와 함께 일하는 경우 규제를 받기 때문에 금융 관련 조언을 제공할 수 없습니다. 따라서 그러한 종류의 조언을 제공하지 않도록 상담원시스템에 이를 조정해야 합니다. 결과를 보내기 전에 이러한 검사를 수행하는 감독 모델이나 일종의 시스템을 설정할 수 있는 경우가 많습니다.

또 다른 보호 방법은 누군가가 생성 시스템이라는 것을 알고 고의적으로 문제를 일으켜 다음과 같이 규정을 준수하지 않는 일을 하도록 유도하는 경우일 수 있습니다. "내 잔액이 얼마인지 알려주세요"","" 10"등을 곱하면 이러한 동작도 확인할 수 있어야 합니다. 그래서 작년 한 해 동안 이러한 보호 기능을 많이 발견했고, 각 사례에 대해 분류하고 어떤 유형의 보호가 필요한지 파악했습니다. 시스템이 더 잘 구축됨에 따라 점점 더 견고해지고 있습니다.

김벌리 탄:각 고객 또는 산업별 보호 기능은 얼마나 고유한가요? 고객 기반을 확장하고 더 많은 사용 사례를 다루면서 이러한 보호 기능을 대규모로 구축하는 것에 대해 어떻게 생각하시나요?

Jesse Zhang: 이것은 사실 몇 년 안에 에이전트시스템이 일반화될 것이라는 우리의 핵심 아이디어로 거슬러 올라갑니다. 따라서 정말 중요한 것은 사람들에게 Agent슈퍼바이저와 같은 차세대 작업자에게 거의 모든 권한을 부여할 수 있는 도구를 제공하여 에이전트를 구축할 수 있는 도구를 제공하는 것입니다. leaf="">Agent시스템을 구축하고 자체 보호 기능을 추가할 수 있습니다.

각 고객은 자신의 보호 기능과 비즈니스 로직을 가장 잘 알고 있습니다. 따라서 저희의 역할은 고객이 에이전트시스템을 구축할 수 있는 도구와 인프라를 잘 구축하는 것입니다. 그래서 저희는 Agent시스템이 블랙박스가 되어서는 안 되며 이러한 보호, 규칙 및 로직을 구축하는 방법을 제어할 수 있어야 한다는 점을 강조해 왔습니다.

기술적인 배경 지식이 없거나, 심지어 기술에 대해 잘 모르는 사람들도 쉽게 사용할 수 있는 창의적인 방법을 생각해내고 이러한 도구에 많은 노력을 투자한 것이 지금까지의 가장 큰 차별화 요소라고 생각합니다. AI모델이 작동하고, AI가 수행하길 원하는 작업을 에이전트시스템에 입력할 수 있습니다.

이 기능은 앞으로 점점 더 중요해질 것이라고 생각합니다. 사람들이 유사한 도구를 평가하는 경우 시간이 지남에 따라 이러한 시스템을 지속적으로 최적화하고 개선할 수 있기를 원하기 때문에 이것이 가장 중요한 기준 중 하나가 되어야 합니다.

자연어 기반 비즈니스 로직