17일 뉴스1에 따르면 MS는 코파일럿 중심으로 음성·시각 인식 기능을 통합해 윈도우11 PC가 AI 경험을 제공하도록 설계했다. 코파일럿 핵심 요소는 텍스트·음성으로 자연어 대화 지원, 화면의 시각 정보 인식 통한 도움 제안, 이용자 승인 기반 능동적 작업 수행 등이다.
MS 관계자는 "윈도우 이용자는 단순한 명령 수행을 넘어 AI와 상호작용하며 더 직관적인 환경을 경험할 수 있다"며 "'헤이 코파일럿' 명령으로 AI 보조를 호출하는 음성 기반 기능이 대표적"이라고 말했다. 이어 "음성 상호작용 빈도는 문자보다 2배 이상 높다"며 "이용자는 명령으로 대화를 시작·종료할 수 있고 코파일럿은 몇 초 동안 입력 없으면 자동 종료된다"고 설명했다.
'코파일럿 비전'은 이용자가 화면을 공유하면 AI가 콘텐츠를 인식해 관련 답변이나 조언을 제공한다. '쇼 미 하우' 명령으로 앱 사용법이나 설정 절차를 단계별로 안내받을 수 있다.
윈도우11 작업 표시줄에는 '애스크 코파일럿'탭이 새롭게 추가됐다. 이용자는 클릭 한 번으로 음성·비전 기능을 모두 실행할 수 있다. '코파일럿 액션'은 로컬 파일에서도 직접 작업을 수행하는 단계로 진화했다. 윈도우 내부 사진 정리나 PDF 추출 등 명령을 코파일럿이 대신 처리해 준다.
아울러 AI 생산성 영역 확대, '클릭 투 두' 기능 시험 도입, '게이밍 코파일럿' 베타 버전 탑재 등 다양한 서비스가 추가됐다.
<저작권자 © ‘재테크 경제주간지’ 머니S, 무단전재 및 재배포 금지>