투명도 메모란?
AI 시스템에는 기술뿐만 아니라 기술을 사용하는 사용자, 영향을 받는 사용자 및 배포된 환경도 포함됩니다. 의도한 목적에 맞는 시스템을 만들려면 기술의 작동 방식, 기능 및 제한 사항, 최상의 성능을 달성하는 방법에 대한 이해가 필요합니다. Microsoft의 투명성 정보는 AI 기술의 작동 방식, 시스템 소유자가 시스템 성능 및 동작에 영향을 줄 수 있는 선택 사항, 기술, 사람 및 환경을 포함한 전체 시스템에 대한 사고의 중요성을 이해하는 데 도움이 됩니다. 고유한 시스템을 개발하거나 배포할 때 투명도 메모를 사용하거나 시스템의 영향을 받거나 사용 중인 사용자와 공유합니다.
Microsoft 투명성 참고 사항은 Ai 원칙을 실천하기 위한 Microsoft의 광범위한 노력의 일환입니다. 자세한 내용은 Microsoft AI 원칙을 참조하세요.
Real-Time Intelligence 운영 에이전트의 기본 사항
소개
Real-Time Intelligence 운영 에이전트는 데이터 스트림을 모니터링하고, 변칙 또는 조건을 검색하고, 실제 이벤트를 기반으로 작업을 권장하는 에이전트를 만들기 위한 플랫폼입니다. 이러한 에이전트는 작업을 자동화하고, 인사이트를 제공하고, 적시에 의사 결정을 지원합니다. 에이전트는 비즈니스 목표, 기술 자료, 작업 및 지침을 구성하여 목표를 추적하고, 데이터를 모니터링하고, 조건을 검색하는 규칙을 적용하는 계획을 만듭니다. 에이전트는 적절한 조건이 발생하는 경우 권장 작업을 사용자에게 알깁니다.
주요 용어
기술 자료: 에이전트가 데이터를 찾고 모니터링하는 데 사용할 수 있는 데이터베이스 연결입니다.
도구: 에이전트가 자연어에서 구조화된 쿼리를 생성하고, 변칙 검색을 수행하고, Microsoft Teams 또는 전자 메일 메시지를 보내는 등의 작업을 수행할 수 있게 해주는 기본 제공 기능입니다.
스레드: 에이전트와 사용자 간의 대화 세션입니다. 스레드는 메시지를 저장하고 모델의 컨텍스트에 콘텐츠가 맞도록 자동으로 잘라서 처리합니다.
플레이북: 운영 설명서를 구성하는 엔터티, 데이터, 규칙 및 가능한 작업에 대한 에이전트의 내부 표현입니다.
엔터티: 에이전트가 모니터링하는 비즈니스의 개체입니다. 예를 들어 자전거 대여 사업에서 자전거 및 도킹 스테이션은 관련 엔터티일 수 있습니다. 공항 관리에서 체크인 라인, 보안 검사점 및 승객은 관련 엔터티입니다.
인스턴스: 엔터티의 특정 항목(예:
Bike 0451또는Flight MS1234.규칙: 권장 사항을 만들기 전에 에이전트가 모니터링하는 데이터의 조건 또는 패턴입니다.
자치 규칙: 에이전트가 먼저 사람의 확인 없이 수행할 수 있는 작업이 있는 규칙입니다.
역량
시스템 동작
운영 에이전트를 만들 때 비즈니스 목표, 기술 자료, 가능한 작업 및 지침 설정을 구성합니다. 이러한 입력을 통해 에이전트는 LLM(큰 언어 모델)을 사용하여 모니터링할 엔터티, 매핑된 데이터 및 규칙의 플레이북을 만듭니다. 목표 및 지침을 조정하여 모델을 구체화할 수 있습니다. 에이전트를 활성화하면 에이전트가 백그라운드에서 데이터를 모니터링합니다. 조건이 규칙과 일치하면 데이터를 분석하고 원인을 식별하며 비즈니스 목표를 달성하기 위한 작업을 권장합니다.
에이전트는 자연어로 된 경고를 Teams를 통해 사용자에게 알리고, 초기 권장 사항에 대해 귀하가 계속 정보를 받을 수 있도록 합니다. 규칙을 승인, 거부 또는 자율화하여 에이전트가 추가 확인 없이 작동할 수 있도록 할 수 있습니다.
에이전트는 LLM을 사용하여 에이전트의 플레이북을 만들고 작업을 권장하기 때문에 다음을 수행해야 합니다.
에이전트를 시작하기 전에 동작 모델을 신중하게 검토합니다.
에이전트의 권장 사항을 면밀히 모니터링하고 행동하기 전에 권장 사항을 만드는 데 사용하는 추론을 확인합니다.
에이전트를 사용하여 만든 자율 규칙을 신중하게 검토합니다. 이러한 규칙은 작업을 자동으로 구동합니다.
사용 사례
올바른 사용법
다양한 시나리오에서 작업 에이전트를 사용할 수 있습니다. 시스템의 용도는 다음과 같습니다.
자전거 대여 관리: 실시간 데이터를 사용하여 다양한 스테이션에서 자전거 가용성을 지속적으로 모니터링하도록 운영 에이전트를 구성할 수 있습니다. 각 도킹 스테이션에 대한 해당 값을 추적할 적절한 쿼리를 찾을 수 있도록 자전거의 가용성을 보장하는 목표를 설정합니다.
풍력 터빈 최적화: 에이전트는 풍력 발전 단지에서 들어오는 데이터, 전력 출력과 같은 메트릭 추적, 블레이드의 방향 및 각도를 모니터링합니다. 전원 출력의 변칙 또는 급락을 찾고 운영 매개 변수에 대한 조정을 권장합니다.
웨어하우스 재고 분산: 에이전트는 여러 웨어하우스의 재고 수준을 실시간으로 모니터링합니다. 최적의 재고 분포를 유지하고 재고 초과 또는 과잉 재고를 방지하도록 목표를 설정합니다.
비용 모니터링: 에이전트에게 비용 요청 및 보고서에 대한 데이터에 대한 액세스 권한을 부여합니다. 일반적인 규칙을 준수하지 않는 비용에 플래그를 지정하고 각 직원 또는 비용 센터에 대한 장기적인 패턴에서 변칙을 발견하도록 요청합니다.
인시던트 응답 자동화: 에이전트는 IT 인프라 로그 및 원격 분석을 모니터링하여 서비스 저하 또는 보안 변칙의 징후를 확인합니다. MTTD(평균 검색 시간) 및 MTTR(평균 해결 시간)을 줄이는 것이 목표입니다.
다른 사용 사례를 선택할 때의 고려 사항
혁신적인 솔루션 또는 애플리케이션에 운영 에이전트를 적용하는 것이 좋습니다. 그러나 에이전트가 특정 사용 사례에 적합한지 확인하려면 다음 요소를 고려하세요.
시스템의 사용 또는 오용으로 인해 개인에게 심각한 신체적 또는 심리적 상해가 발생할 수 있는 시나리오를 방지합니다. 예를 들면, 환자를 진단하거나 약물을 처방하는 시나리오는 중요한 해를 일으키는 원인이 될 가능성이 있습니다.
시스템의 사용 또는 오용이 삶의 기회 또는 법적 상태에 영향을 미칠 수 있는 시나리오를 방지합니다. 예를 들어 AI 시스템 또는 에이전트가 개인의 법적 지위, 법적 권리 또는 신용, 교육, 고용, 의료, 주택, 보험, 사회복지 혜택, 서비스, 기회 또는 제공되는 조건에 대한 액세스에 영향을 줄 수 있는 시나리오가 있습니다.
피해를 입을 수 있는 위험한 상황은 방지합니다. 에이전트에 사용되는 모델은 학습 데이터 또는 프롬프트에 제공된 예제에 있는 특정 사회적 견해, 편견 및 기타 바람직하지 않은 콘텐츠를 반영할 수 있습니다. 결과적으로 불공정하거나 신뢰할 수 없거나 공격적인 행동이 비용이 많이 들거나 해를 입힐 수 있는 높은 지분 시나리오에서 에이전트를 사용하지 않도록 주의합니다.
에이전트 작업이 돌이킬 수 없거나 매우 결과적인 높은 지분 도메인 또는 업계의 사용 사례를 신중하게 고려합니다. 이러한 산업은 의료, 의학, 금융 또는 법적 도메인을 포함하지만 이에 국한되지 않습니다.
법률 및 규제 고려 사항. 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 AI 서비스 및 솔루션을 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 제한 사항은 지역 또는 지역 규제 요구 사항에 따라 달라질 수 있습니다. 또한 AI 서비스 또는 솔루션은 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용되지 않을 수도 있습니다.
제한점
기술 제한 사항, 운영 요소, 범위
OpenAI의 집중적인 교육과 Microsoft의 책임 있는 AI 컨트롤 구현에도 불구하고 AI 서비스는 틀리고 확률적입니다. 이러한 제한은 모든 부적절한 콘텐츠를 포괄적으로 차단하는 데 어려움을 주어, AI에서 생성된 콘텐츠에서 잠재적인 편견, 고정관념, 또는 근거 없는 내용이 발생할 수 있게 만듭니다. AI 생성 콘텐츠의 알려진 제한 사항에 대한 자세한 내용은 작업 에이전트 뒤에 있는 LLM에 대한 참조를 포함하는 Azure OpenAI에 대한 투명도 참고를 참조하세요.
운영 에이전트에 광범위한 지침과 목표를 제공할 수 있습니다. LLM 동작 모델의 확률적 특성은 에이전트를 요구 사항에 맞추지 못할 수 있음을 의미합니다. 에이전트의 동작 모델에 대한 설명도 AI를 사용하여 생성되므로 완전히 정확하지 않을 수 있습니다.
운영 에이전트를 효과적으로 사용하려면 서비스와 효과적으로 상호 작용하고 혜택을 누릴 수 있는 교육이 필요합니다.
고급 AI 모델에는 특히 리소스가 제한된 환경에서 성능에 영향을 미칠 수 있는 상당한 계산 리소스가 필요합니다. 사용량이 많은 시간에 대기 시간 또는 성능 문제가 발생할 수 있습니다.
에이전트는 LLM을 외부 시스템과 결합하기 때문에 쿼리에 응답하기 위해 특정 도구 또는 도구 조합을 선택한 이유를 이해하기 어려울 수 있습니다. 이 문제는 에이전트의 출력 또는 작업에 대한 신뢰 및 확인을 복잡하게 만듭니다.
조직은 특히 규제 산업에서 운영 에이전트를 사용할 때 특정 법률 및 규정 준수 의무를 고려해야 합니다. Microsoft는 기술 공급자로서 Microsoft에 적용되는 규정 요구 사항을 검토하고 지속적인 개선 프로세스를 통해 제품 내에서 이를 해결하고 있습니다.
에이전트 사용자 환경을 통해 언제든지 에이전트를 신속하게 중단하거나 종료할 수 있습니다. 이 작업은 에이전트가 권장하거나 수행할 수 있는 새 데이터 및 새 작업의 모니터링을 중지합니다. 에이전트가 다른 시스템에서 호출한 작업(예: Power Automate 워크플로 시작)은 즉시 중지되지 않을 수 있습니다. 에이전트는 이러한 작업을 다른 제품 환경에서 관리해야 하는 독립적인 프로세스로 시작합니다.
에이전트와 사용자 간의 메시지는 Teams를 통해 전달됩니다. 에이전트에 메시지를 보내면 Azure Bot Service에서 메시지를 처리합니다. Azure AI Bot Service 사용하면 각 봇에 단일 글로벌 엔드포인트만 가질 수 있는 기술적 제한이 있습니다. Teams 자사 봇의 경우 요청이 전역 엔드포인트로 전송된 다음 사용자 근처의 지역 엔드포인트로 다시 경로가 지정됩니다. 운영 에이전트는 EU에 있는 엔드포인트를 사용합니다. 즉, 사용자 데이터를 처리를 위해 지리적 지역 외부로 이동할 수 있습니다.
시스템 성능
AI 시스템에서 성능은 종종 정확도(시스템이 올바른 출력을 제공하는 빈도)에 연결됩니다. 작업 에이전트의 경우 사용자가 출력을 다르게 해석할 수 있으므로 성능이 더 유연합니다. 오류는 일반적으로 에이전트가 비즈니스 프로세스의 목표, 데이터 또는 주요 엔터티를 오해할 때 발생합니다. 에이전트가 권장 사항을 만들 때 사용자는 작업을 승인하기 전에 제공된 컨텍스트를 신중하게 검토해야 합니다.
시스템 성능 개선을 위한 모범 사례
작업 에이전트를 사용하여 최상의 결과를 얻으려면 상세하고 잘 구성된 프롬프트를 만드는 데 집중합니다. 제공하는 목표와 지침은 에이전트가 시간에 따른 변경 내용을 모니터링하기 위한 올바른 데이터 요소 및 규칙을 식별하는 데 도움이 됩니다. 에이전트가 모니터링해야 하는 데이터 값과 조건을 명시적으로 정의하여 정확도를 향상시킵니다. 작업이 결과에 미치는 영향과 모니터링되는 값이 변경되는 방식을 명확하게 설명합니다.
고품질 데이터도 똑같이 중요합니다. 코딩된 값 대신 의미 있는 열 이름을 사용하여 데이터 구조가 잘 구성되었는지 확인합니다. 가능한 경우 중첩된 이벤트 데이터를 평면화합니다. 이 구조를 사용하면 에이전트가 관련 정보를 보다 쉽게 찾아서 모니터링할 수 있습니다.
운영 에이전트 평가
평가 방법
운영 에이전트 플랫폼은 엄격한 다단계 프로세스를 사용하여 정확도, 안전성 및 지속적인 개선을 평가합니다. 핵심은 추적반복>계산이라는 3단계 주기 > 입니다. 이 주기는 계획, 온톨로지 형성, 데이터 접지, 규칙 생성 및 실행을 포함하여 에이전트의 의사 결정 프로세스를 모니터링하는 원격 분석을 구현하는 것으로 시작합니다. 평가 데이터 세트는 실제 사용 사례 및 가변성을 도입하는 합성 데이터에서 제공됩니다. 개발에서 프로덕션에 이르기까지 에이전트의 수명 주기 전반에 걸쳐 정확도, 수렴, 실패율 및 안전성과 같은 메트릭을 측정합니다.
평가 환경은 프로덕션 조건을 미러링하고 편견을 방지하기 위해 개발 파이프라인과 평가 파이프라인 간의 분리를 강조합니다. 초기 데이터 세트를 수동으로 큐레이팅하고 예상 온톨로지 및 출력을 미리 정의합니다. 나중에 가상 생성을 사용하여 이러한 데이터 세트의 크기를 조정합니다. 데이터 세트는 비즈니스 모니터링 및 의사 결정과 관련된 운영 목표에 초점을 맞춥니다. 실제 시나리오를 나타내지만 더 광범위한 사용자 모집단 또는 동적 목표 구성은 아직 포함되지 않습니다. 이 접근 방식은 평가를 집중적이고 재현 가능하며 책임 있는 AI 원칙에 맞게 유지합니다.
평가 결과
평가 프로세스는 구조적 추적>반복>평가 방법론을 사용합니다. 에이전트의 의사 결정 루프의 각 단계에서 평가를 포함합니다. 이러한 평가는 에이전트가 지속적으로 정확한 온톨로지 생성하고, 유효하고 관련 있는 쿼리를 생성하며, 사용자 목표에 맞는 적절한 작업을 선택하는 것을 확인했습니다. 이러한 결과는 특히 실제 운영 컨텍스트에서 예상대로 수행되도록 하는 시스템의 책임 목표 조정을 지원합니다.
평가에 사용되는 학습 및 테스트 데이터 세트는 광범위한 운영 시나리오를 반영하도록 신중하게 큐레이팅되었습니다. 온톨로지 및 쿼리 결과를 포함하여 명확하게 정의된 예상 출력을 사용하여 실제 사용 사례에서 초기 데이터 세트를 수동으로 생성했습니다. 나중에 가상 생성을 사용하여 이러한 데이터 세트를 확장하여 가변성 및 적용 범위를 증가시켰습니다. 스키마 복잡성, 데이터 가용성 및 사용자 의도의 변형을 포함하여 에이전트가 예상하는 목표 및 데이터 환경 유형을 나타내도록 데이터 세트를 디자인했습니다. 이 방법을 통해 평가는 대표적인 운영 요인 및 설정 범위를 캡처하여 책임 있는 시스템 개발 및 배포를 지원했습니다.
평가 결과는 시스템의 몇 가지 주요 디자인 제약 조건에 영향을 줍니다. 예를 들어 일관된 성능을 보장하고 실패율을 줄이기 위해 최대 쿼리 크기 및 최소 온톨로지 복잡성에 대한 제한을 도입했습니다. 결과는 많은 운영 모니터링 및 의사 결정 지원 시나리오에 광범위하게 적용되지만 초기 평가에는 동적 목표 재구성 및 다중 에이전트 협업과 같은 일부 영역이 포함되지 않았습니다. 이러한 영역은 향후 테스트 및 개발의 기회를 나타냅니다.
사용할 운영 에이전트를 평가하고 통합하기
에이전트의 동작은 사용자가 제공하는 지침, 목표, 데이터 및 작업에 의해 형성됩니다. 정확한 프롬프트와 직관적인 열 이름을 사용하여 잘 구성된 깔끔한 데이터는 정확도를 향상시키고 오류를 줄입니다.
에이전트를 구성한 후 KQL 쿼리를 검토하여 에이전트의 동작 모델 및 규칙의 유효성을 검사하여 비즈니스 프로세스와 일치하는지 확인합니다. 규칙 기반 조건이 에이전트를 트리거하는 동안 LLM에서 생성된 권장 사항에는 부정확성이 포함될 수 있으므로 작동하기 전에 항상 출력을 검토합니다.
응답성이 뛰어난 에이전트는 과도한 알림 또는 자동화된 작업의 남용으로 이어질 수 있으며, 이로 인해 시스템 불안정이 발생할 수 있습니다. 위험을 완화하려면 규칙을 조정하고, 정기적인 감사를 수행하고, 에지 사례를 시뮬레이션하고, 투명성을 높이는 인터페이스를 디자인합니다. 예를 들어 권장 사항에 대한 신뢰도 점수와 명확한 설명을 표시합니다.