오늘날의 최첨단 접근 방식이 내일의 레거시 시스템이 될 수도 있습니다. 인공 지능을 기반으로 하는 SaaS 솔루션에 투자하는 조직은 오늘 구현한 시스템이 내일의 기술 부채가 되지 않도록 어떻게 보장할 수 있을까요?

‍

해답은 현재 가장 진보된 기술을 선택하는 것이 아니라 새로운 AI 기능과 함께 진화할 수 있는 유연하고 적응력 있는 아키텍처를 기반으로 구축된 플랫폼을 선택하는 데 있습니다. 이 글에서는 검색 증강 세대(RAG)를 중심으로 AI 분야에서 모듈형 아키텍처의 다양한 구현을 분석하고 다양한 아키텍처 접근 방식을 비교합니다.

‍

경직된 AI 구현의 숨겨진 위험성

많은 조직이 주로 현재의 기능에 초점을 맞춰 AI 솔루션을 선택하고 장기적인 적응성을 결정하는 기본 아키텍처를 무시합니다. 이러한 접근 방식은 몇 가지 중대한 위험을 초래합니다:

기술 노후화

AI 혁신의 속도는 계속 빨라지고 있으며, 그 어느 때보다 짧은 기간에 근본적인 발전이 이루어지고 있습니다. AI에 대한 특정 접근 방식을 중심으로 구축된 경직된 시스템은 이러한 발전을 통합하는 데 어려움을 겪는 경우가 많아 최신 솔루션과 기능 격차가 발생하게 됩니다.

비즈니스 요구 사항 수정

기술이 정적으로 유지되더라도(그리고 앞으로도 그럴 것입니다) 비즈니스 요구사항은 진화할 것입니다. 조직은 종종 초기 구현 과정에서 예측하지 못했던 인공지능의 가치 있는 사용 사례를 발견하기도 합니다. 유연하지 않은 플랫폼은 원래의 설계 매개변수를 넘어서는 데 어려움을 겪는 경우가 많습니다.

통합 에코시스템의 진화

AI 솔루션을 둘러싼 애플리케이션, 데이터 소스 및 시스템은 업그레이드, 교체 및 새로운 추가를 통해 시간이 지남에 따라 변화할 것입니다. 경직된 AI 플랫폼은 종종 통합 병목 현상이 발생하여 값비싼 해결 방법이 필요하거나 다른 기술 투자의 가치를 제한합니다.

규제 및 규정 준수 변경 사항

설명 가능성, 공정성 평가 및 문서화에 대한 요구 사항을 부과하는 새로운 규정이 등장하면서 전 세계적으로 AI 거버넌스 요건이 계속 진화하고 있습니다. 아키텍처 유연성이 없는 시스템은 이러한 변화하는 규정 준수 요건에 적응하는 데 어려움을 겪는 경우가 많습니다.

‍

RAG 패러다임: 모듈형 아키텍처 사례 연구

검색 증강 생성(RAG)은 AI 시스템의 설계 및 구현 방식을 혁신하고 있는 모듈식 아키텍처의 훌륭한 예입니다. AWS는 이를 '응답을 생성하기 전에 학습 데이터 소스 외부의 권위 있는 지식 베이스를 참조하는 대규모 언어 모델(LLM)의 출력을 최적화하는 프로세스'로 정의합니다.

AWS RAG 구현

AWS는 모듈성과 유연성의 원칙을 보여주는 RAG 클라우드 아키텍처를 개발했습니다. AWS 공공 부문 블로그에서 윤지에 첸과 헨리 지아가 지적한 대로, 이 아키텍처는 네 가지 모듈로 구성되어 있습니다:

‍

1. 사용자 인터페이스 모듈: Amazon API 게이트웨이를 통해 최종 사용자와 상호 작용합니다.
2. 오케스트레이션 모듈: 다양한 리소스와 상호 작용하여 데이터 수집, 프롬프트 및 응답 생성이 원활하게 이루어지도록 합니다.
3. 임베딩 모듈: 다양한 파운데이션 모델에 대한 액세스 제공
4. 벡터 저장소 모듈: 임베디드 데이터의 저장 및 벡터 검색 실행을 관리합니다.

처리 흐름은 두 가지 주요 경로를 따릅니다:

데이터 업로드용:

1. Amazon S3 버킷에 저장된 문서는 분할 및 청크 처리를 위해 AWS Lambda 함수에 의해 처리됩니다.
2. 텍스트 세그먼트가 임베딩 템플릿으로 전송되어 벡터로 변환됩니다.
3. 임베딩은 선택한 벡터 데이터베이스에 저장되고 색인화됩니다.

답변 생성을 위해:

1. 사용자가 프롬프트를 보냅니다.
2. 임베딩 템플릿으로 프롬프트가 전달됩니다.
3. 이 모델은 보관된 문서에서 시맨틱 검색을 위해 프롬프트를 벡터로 변환합니다.
4. 가장 관련성이 높은 결과가 LLM에 반환됩니다.
5. LLM은 가장 유사한 결과와 초기 프롬프트를 고려하여 응답을 생성합니다.
6. 생성된 응답이 사용자에게 전달됩니다.

AWS RAG 아키텍처의 장점

AWS는 이 모듈형 아키텍처의 몇 가지 주요 이점을 강조합니다:

• 모듈성 및 확장성: "RAG 아키텍처의 모듈식 특성과 코드형 인프라(IaC)의 사용으로 필요에 따라 AWS 서비스를 쉽게 추가하거나 제거할 수 있습니다. 이 아키텍처는 AWS 관리형 서비스를 통해 사전 프로비저닝 없이도 증가하는 트래픽과 데이터 요청을 자동으로 효율적으로 관리할 수 있습니다."
• 유연성과 민첩성: "모듈식 RAG 아키텍처를 사용하면 클라우드 아키텍처 프레임워크를 완전히 혁신하지 않고도 새로운 기술과 서비스를 더 빠르고 쉽게 구현할 수 있습니다. 이를 통해 변화하는 시장과 고객의 요구에 더욱 민첩하게 대응할 수 있습니다."
• 미래 트렌드에 대한 적응: '모듈식 아키텍처는 오케스트레이션, 생성형 AI 모델, 벡터 스토어를 분리합니다. 이 세 가지 모듈은 개별적으로 모두 활발한 연구와 지속적인 개선이 이루어지고 있는 분야입니다."

벡터 기술: RAG 아키텍처의 핵심

RAG 아키텍처의 핵심 요소는 벡터 데이터베이스입니다. AWS는 "생성 모델이 상호 작용하려면 텍스트, 오디오, 이미지 또는 비디오를 포함한 모든 데이터를 임베딩 벡터로 변환해야 하므로 벡터 데이터베이스는 생성 AI 기반 솔루션에서 필수적인 역할을 한다"고 지적합니다.

AWS는 여러 벡터 데이터베이스 옵션을 제공하여 이러한 유연성을 지원합니다:

• 벡터 기능이 추가된 OpenSearch 및 PostgreSQL과 같은 기존 데이터베이스
• 전용 오픈 소스 벡터 데이터베이스(예: ChromaDB 및 Milvus)
• Amazon Kendra와 같은 기본 AWS 솔루션

이러한 옵션 간의 선택은 "새 데이터가 추가되는 빈도, 분당 전송되는 쿼리 수, 전송되는 쿼리가 대체로 유사한지 등의 질문에 대한 답변에 따라 안내될 수 있습니다."

‍

모델 통합형 AI 아키텍처: 신경망 접근 방식

AWS RAG 아키텍처는 여러 클라우드 서비스에서 분산 시스템으로 구현되는 반면, 다른 AI 시스템은 통합 신경 아키텍처 내에 모듈성 원칙이 존재하는 보다 통합적인 접근 방식을 취합니다.

고급 IA 어시스턴트의 사례

최신 LLM 모델에 기반한 고급 AI 어시스턴트와 같은 고급 AI 어시스턴트는 RAG와 유사한 원리를 사용하지만 몇 가지 중요한 구조적 차이점이 있습니다:

1. 신경망 통합: 기능 구성 요소(쿼리 이해, 정보 검색, 응답 생성)가 별도의 서비스에 분산되어 있지 않고 신경망 아키텍처 내에 통합되어 있습니다.
2. 개념적 모듈성: 모듈성은 개념적, 기능적 수준에서 존재하지만 반드시 물리적으로 분리되고 교체 가능한 구성 요소로 존재하는 것은 아닙니다.
3. 통합 최적화: 전체 처리 파이프라인은 최종 사용자가 구성할 수 있는 것이 아니라 교육 및 개발 단계에서 최적화됩니다.
4. 심층 검색-생성 통합: 검색 시스템은 경직된 순차적 프로세스가 아닌 구성 요소 간의 양방향 피드백을 통해 생성 프로세스에 더욱 심층적으로 통합됩니다.

이러한 구현상의 차이에도 불구하고 이러한 시스템은 언어 모델을 관련 외부 정보로 보강하여 정확도를 높이고 여러 처리 단계를 (적어도 개념적으로는) 분리하는 아키텍처를 만들어 환상을 줄이는 RAG의 기본 원칙을 공유합니다.

‍

유연한 IA 아키텍처를 위한 설계 원칙

구체적인 접근 방식에 관계없이 AI 아키텍처의 유연성을 촉진하는 보편적인 설계 원칙이 있습니다:

모듈식 설계

진정으로 유연한 인공 지능 플랫폼은 전체 시스템을 변경하지 않고도 구성 요소를 독립적으로 업그레이드하거나 교체할 수 있는 모듈식 아키텍처를 사용합니다. 구현 방식은 다르지만 AWS와 통합 AI 시스템 접근 방식 모두 이 원칙을 따릅니다.

모델에 구애받지 않는 접근 방식

유연한 플랫폼은 비즈니스 로직과 기본 AI 구현을 분리하여 기술이 발전함에 따라 기본 AI 구성 요소를 변경할 수 있습니다. 이는 모델을 쉽게 교체할 수 있는 AWS 아키텍처에서 특히 두드러집니다.

API 우선 설계

가장 적응력이 뛰어난 인공 지능 시스템은 사전 정의된 사용자 인터페이스에만 집중하기보다는 포괄적인 API를 통한 프로그래밍 접근성을 우선시합니다. AWS 아키텍처에서는 각 구성 요소가 잘 정의된 인터페이스를 노출하여 통합과 업데이트를 용이하게 합니다.

지속적인 배포 인프라

유연한 아키텍처는 서비스 중단 없이 자주 업데이트할 수 있도록 설계된 인프라를 필요로 합니다. 이 원칙은 메커니즘은 다르지만 AWS 아키텍처와 같은 분산 시스템과 통합 AI 모델 모두에서 구현됩니다.

확장성 프레임워크

진정으로 유연한 플랫폼은 공급업체의 개입 없이도 고객별 확장을 위한 프레임워크를 제공합니다. 이는 분산 시스템에서 가장 분명하게 드러나지만 임베디드 AI 모델도 사용자 지정의 형태를 제공할 수 있습니다.

적응성-안정성 균형

아키텍처의 유연성을 강조하는 동시에 비즈니스 시스템에도 안정성과 신뢰성이 필요하다는 점을 인식하는 것이 중요합니다. 모순적으로 보이는 이 두 가지 요구의 균형을 맞추는 것이 필요합니다:

안정적인 인터페이스 계약

내부 구현은 자주 변경될 수 있지만, 외부 인터페이스에 대해서는 공식적인 버전 관리 및 지원 정책을 통해 엄격한 안정성을 보장하는 것이 중요합니다.

점진적 개선

새로운 기능은 가능한 한 교체가 아닌 추가 변경을 통해 도입하여 조직이 각자의 속도에 맞춰 혁신을 도입할 수 있도록 해야 합니다.

제어된 업데이트 주기

업그레이드는 지속적인 혁신과 운영 안정성의 균형을 맞추는 예측 가능하고 통제된 일정에 따라야 합니다.

미래의 컨버전스: 하이브리드 아키텍처를 향하여

미래 AI 아키텍처는 AWS RAG로 대표되는 분산 접근 방식과 고급 AI 모델의 통합 접근 방식이 융합될 것으로 보입니다. 이미 중요한 트렌드가 나타나고 있습니다:

멀티모달 컨버전스

인공지능은 단일 모드 처리를 넘어 여러 모드(텍스트, 이미지, 오디오, 비디오)에서 원활하게 작동하는 통합 모델로 빠르게 전환하고 있습니다.

전문화된 모델의 확산

일반 모델이 계속 발전하는 가운데 특정 도메인 및 업무에 특화된 모델 개발도 증가하면서 다양한 모델을 조율하고 통합할 수 있는 아키텍처가 요구되고 있습니다.

컨티뉴엄 엣지-클라우드

인공 지능 처리는 점점 더 클라우드에서 엣지까지 연속적으로 분산되고 있으며, 성능, 비용 및 데이터 요구 사항의 균형을 보다 효과적으로 맞출 수 있는 분산 모델을 통해 이루어지고 있습니다.

규제 조화

글로벌 AI 규정이 성숙해짐에 따라 관할권 전반에 걸쳐 요구사항이 더욱 조화될 것으로 예상되며, 잠재적으로 인증 프레임워크가 수반될 수 있습니다.

‍

결론: 미래의 필수 요소

인공지능처럼 빠르게 진화하는 분야에서 플랫폼의 가장 중요한 특성은 현재의 역량이 아니라 미래의 발전에 적응할 수 있는 능력입니다. 현재의 역량만을 기준으로 솔루션을 선택하는 조직은 미래의 가능성을 제한하는 경우가 많습니다.

‍

모듈식 설계, 모델에 구애받지 않는 접근 방식, API 우선 사고, 지속적인 배포 인프라, 강력한 확장성 등의 원칙을 통해 아키텍처 유연성을 우선시함으로써 조직은 기술 발전과 비즈니스 요구에 따라 진화하는 AI 역량을 구축할 수 있습니다.

AWS는 '제너레이티브 AI의 발전 속도는 전례가 없을 정도로 빠르며', 진정으로 모듈화되고 유연한 아키텍처만이 빠르게 진화하는 미래의 기술 환경에서 오늘날의 투자가 지속적으로 가치를 창출할 수 있도록 보장할 수 있다고 말합니다.

‍

미래는 다가올 일을 가장 잘 예측할 수 있는 사람뿐만 아니라 어떤 일이 일어나든 적응할 수 있는 시스템을 구축하는 사람의 몫일지도 모릅니다.