Claude Computer Use 리뷰 : AI가 내 컴퓨터를 조작한다 - 폰에서 지시하면 Mac이 혼자 일한다

안녕하세요! 갓대희 입니다.

2026년 3월 23일, Anthropic이 Computer Use를 리서치 프리뷰로 공개했다.

한마디로, Claude가 사용자의 Mac 화면을 직접 보면서 마우스를 클릭하고 키보드를 치는 기능이다. 사람이 컴퓨터 앞에 앉아서 하는 것과 똑같은 방식으로 앱을 조작한다.

여기에 일주일 전 출시된 Dispatch까지 결합되면 이야기가 달라진다. 출근길 지하철에서 폰으로 "이메일 정리하고 보고서 써줘" 한마디면, 집에 놓고 온 Mac에서 Claude가 알아서 화면을 띄우고 작업을 시작한다. 아무도 없는 빈 책상 위에서 컴퓨터가 혼자 돌아가는 셈이다.

목차

1. Computer Use 소개
   • Computer Use란 무엇인가
   • Dispatch와의 시너지
   • Cowork · Code 통합
2. Computer Use의 진화
   • 2024년 10월: 첫 공개
   • OSWorld 벤치마크 — 14.9%에서 72.5%까지
   • Vercept 인수
3. 작동 원리
   • 커넥터 우선, 화면 제어 폴백
   • 스크린샷 기반 인식과 픽셀 카운팅
   • 자기 수정 능력
4. 설정 방법
   • 필수 조건
   • Dispatch 연동
5. 활용 시나리오와 프롬프트 예시
   • 프롬프트 예시와 예상 동작
   • 적합한 작업 vs 아직 피해야 할 작업
6. 안전성과 보안
   • Permission-First 접근
   • 프롬프트 인젝션 방어
   • AI Safety Level 평가
7. 현재 한계와 솔직한 평가
   • Anthropic이 인정한 제약사항
   • 플립북 방식의 한계
   • 플랫폼 제한
8. 경쟁 구도
   • OpenAI, Google과의 데스크탑 제어 경쟁
   • Anthropic이 먼저 출시한 이유
9. 커뮤니티 반응
   • X(트위터): "새로운 세계"
   • DEV Community: 실사용 체험기
   • Reddit: 품질 vs 사용량 한도
   • 한국 커뮤니티
10. 구독 플랜
11. 결론

Claude Computer Use 가이드
Computer Use는 Claude가 사용자의 Mac 화면을 직접 보고, 마우스를 클릭하고, 키보드를 입력하여 작업을 수행하는 기능이다. 커넥터가 있는 앱은 커넥터를 먼저 사용하고, 없으면 화면을 직접 제어한다.
2026년 3월 23일 리서치 프리뷰로 출시되었으며, macOS에서 Pro 또는 Max 구독자에게 제공된다.

 

 

1. Computer Use 소개

Computer Use란 무엇인가

2026년 3월 23일, Anthropic은 Claude Cowork와 Claude Code에서 Computer Use 기능을 리서치 프리뷰로 공개했다.

Anthropic 공식 블로그의 표현을 빌리면:

"Claude가 필요한 도구에 대한 접근 권한이 없을 때, 화면에 보이는 것을 직접 포인트하고, 클릭하고, 네비게이트하여 작업을 수행합니다. 파일을 열고, 브라우저를 사용하고, 개발 도구를 자동으로 실행할 수 있습니다 — 별도의 설정이 필요 없습니다."
— claude.com/blog/dispatch-and-computer-use (2026.3.23)

 

정리하면 네 가지이다:

• 화면 인식: Claude가 스크린샷을 찍어 현재 화면 상태를 파악한다
• 마우스 · 키보드 제어: 커서를 이동하고, 클릭하고, 텍스트를 입력한다
• 앱 간 이동: 파일, 브라우저, 개발 도구 등 여러 앱을 넘나들며 작업한다
• 커넥터 우선: Slack, Google Calendar 등 커넥터가 있으면 먼저 사용하고, 없을 때만 화면 제어로 전환한다

기존 AI 도구와의 차이

기존 AI 비서는 전용 API나 도구를 통해서만 외부 서비스와 상호작용할 수 있었다.

Computer Use는 사람이 컴퓨터를 쓰는 것과 같은 방식으로 아무 소프트웨어나 조작할 수 있다.

 

Anthropic은 이를 "도구를 모델에 맞추는 대신, 모델을 도구에 맞추는 것"이라고 설명한다.

즉, 기존에는 AI가 사용할 수 있도록 앱마다 전용 API를 만들어야 했지만, Computer Use는 이미 있는 앱의 UI를 그대로 사용한다는 의미다.

 

Dispatch와의 시너지

Computer Use와 함께 공개된 Dispatch는 폰과 데스크탑 사이에 하나의 지속적인 대화 스레드를 유지하는 기능이다. 하기글 참고.

Claude Cowork Dispatch 리뷰 - 외출 중에도 AI가 내 컴퓨터에서 일 시키기

 

이 두 기능이 결합되면 이런 시나리오가 가능해진다:

1. 출근길 지하철에서 폰으로 Claude에게 "오늘 아침 이메일 정리하고 주간 보고서 초안 작성해줘"라고 지시
2. 집에 있는 Mac의 Claude가 화면을 직접 띄워 이메일 앱을 열고, 내용을 분석하고, 문서 앱에서 보고서를 작성
3. 사무실에 도착하면 데스크톱에서 완성된 결과물을 확인하고 수정

Dispatch를 통해 반복 작업을 스케줄링할 수도 있다.

공식 블로그에 따르면 "매일 아침 이메일을 확인하거나 매주 특정 지표를 수집하도록" 설정할 수 있다.

 

Cowork · Code 통합

Computer Use는 Claude Cowork와 Claude Code 두 제품 모두에서 사용할 수 있다.

구분	Claude Cowork	Claude Code
대상 사용자	비개발자 지식 노동자	개발자
주요 용도	문서 작업, 리서치, 파일 정리	코드 작성, 테스트, PR 제출
Computer Use 활용	커넥터 없는 앱 조작, 데이터 수집	IDE 조작, 브라우저 테스트
출시 시기	2026년 1월 (리서치 프리뷰)	2025년 5월 (GA)

Cowork가 만들어진 계기가 재밌다. 마케팅이나 데이터 분석 팀이 개발자용 Claude Code를 몰래(?) 쓰기 시작한 것이다. 복잡한 작업을 알아서 처리하는 게 매력적이었던 모양이다. Anthropic이 이걸 보고 비개발자 전용 인터페이스를 따로 만든 게 Cowork다.

 

2. Computer Use의 진화

2024년 10월: 첫 공개

사실 Computer Use가 처음 나온 건 2024년 10월이다. Claude 3.5 Sonnet과 함께 퍼블릭 베타로 공개됐다.

당시 기술 블로그를 보면, 개발 과정에서 가장 어려웠던 건 픽셀 카운팅이었다:

"Claude는 화면에 보이는 스크린샷을 해석한 다음, 올바른 위치를 클릭하기 위해 가로 또는 세로로 몇 픽셀을 이동해야 하는지 계산합니다. Claude가 픽셀을 정확히 세는 훈련이 핵심이었습니다."
— anthropic.com/news/developing-computer-use

훈련 과정도 독특하다. Anthropic은 안전상의 이유로 인터넷 접속 없이 계산기와 텍스트 에디터 같은 간단한 소프트웨어만으로 훈련시켰다. 그런데 이것만으로도 Claude는 범용적인 컴퓨터 조작 능력을 익혔다. 프롬프트를 받으면 단계별로 쪼개서 실행하는 식이다.

 

OSWorld 벤치마크 — 14.9%에서 72.5%까지

얼마나 좋아졌는지는 OSWorld 벤치마크 수치를 보면 바로 와닿는다. OSWorld는 AI에게 실제 데스크톱에서 버튼 클릭, 폼 작성, 여러 단계에 걸친 작업 완수 같은 과제를 주고 성공률을 측정한다.

시기	모델	OSWorld 점수
2024년 10월	Claude 3.5 Sonnet	14.9%
2024년 10월 (차점자)	경쟁 모델	7.7%
2026년 2월	Claude Sonnet 4.6	72.5%
2026년 2월	Claude Opus 4.6	72.7%
2026년 2월 (경쟁사)	GPT-5.2	47.3% **
참고	인간 수준	72.36% (OSWorld 공식)

(출처: Anthropic 공식 발표, Vercept 인수 발표 블로그)
⚠️ 벤치마크 버전 주의: 2024년 10월의 14.9%는 OSWorld 원본 기준이며, 2026년 2월의 72.5%/72.7%는 OSWorld-Verified(개정판) 기준이다. 두 버전은 평가 방식이 다르므로 수치를 단순 비교하기 어렵다.
* Vercept 인수 발표(2026.2.25)에서는 Sonnet 4.6의 72.5% 수치만 공식 언급됨. Opus 4.6의 72.7% 수치는 OSWorld 리더보드 기준.
** GPT-5.2의 47.3%는 OpenAI GPT-5.4 발표 페이지에서 공식 비교 수치로 사용된 값(출처: openai.com/index/introducing-gpt-5-4). 일부 소스에서 38.2%를 인용하는 경우가 있으나, 이는 평가 조건(OSWorld 버전)이 다를 수 있다.

약 16개월 만에 14.9% → 72.5%로, 거의 5배 향상되었다. Anthropic에 따르면 Sonnet 4.6은 "복잡한 스프레드시트 탐색과 브라우저 탭을 넘나드는 웹 폼 작성 같은 작업에서 인간 수준의 성능에 접근하고 있다."

 

Vercept 인수

이 성과 뒤에는 인수가 있었다. Anthropic이 Vercept라는 회사를 사들인 것이다.

• 공동 창업자: Kiana Ehsani, Luca Weihs, Ross Girshick
• 핵심 역량: AI 시스템이 사람이 사용하는 소프트웨어를 보고 상호작용하는 기술
• 배경: Vercept 팀은 "AI 시스템이 인간이 매일 사용하는 소프트웨어 안에서 보고 행동하는 방법"에 대해 수년간 연구해온 팀

이는 2025년 12월의 Bun(JavaScript 런타임) 인수에 이어 두 번째 주요 인수다(2026년 2월 25일). Bun은 Claude Code의 실행 환경으로 쓰이는 고성능 JavaScript 런타임으로, Claude Code가 Bun 실행 파일로 배포되는 이유가 여기에 있다. Anthropic은 "기술적 야심이 일치하고, 안전성과 엄격함이라는 원칙을 공유하는 팀"을 찾는다고 밝혔다.

 

3. 작동 원리

커넥터 우선, 화면 제어 폴백

Claude가 작업을 받으면 다음 순서로 실행 방법을 결정한다:

1. 커넥터 확인: 해당 작업에 맞는 커넥터(Slack, Google Calendar 등)가 있는지 확인
2. 커넥터 사용: 있으면 커넥터를 통해 직접 API로 작업 수행 (빠르고 정확)
3. 화면 제어 폴백: 커넥터가 없으면 화면을 직접 제어하여 작업 수행

왜 커넥터 우선인가

화면 기반 제어는 API 통합보다 느리고 오류 가능성이 있다. 커넥터를 우선 사용하는 것은 정확도와 속도를 최대화하기 위한 설계 결정이다. 화면 제어는 커넥터가 없는 경우에만 사용되는 폴백 메커니즘이다.

 

스크린샷 기반 인식과 픽셀 카운팅

실제 동작을 순서대로 보면:

1. 스크린샷 캡처: 현재 화면의 스크린샷을 찍는다
2. 화면 해석: 멀티모달 능력을 활용하여 스크린샷의 내용을 파악한다
3. 픽셀 계산: 클릭해야 할 위치까지 가로/세로 몇 픽셀을 이동해야 하는지 계산한다
4. 액션 실행: 마우스 이동, 클릭, 키보드 입력 등의 액션을 수행한다
5. 결과 확인: 다시 스크린샷을 찍어 결과를 확인하고, 다음 단계로 진행한다

Anthropic은 이 방식을 "플립북(flipbook)"에 비유한다. 연속적인 비디오 스트림이 아니라, 스크린샷을 순차적으로 찍어 맥락을 파악하는 방식이다.

 

자기 수정 능력

Claude가 막히면 어떻게 할까? Anthropic에 따르면 알아서 다른 방법을 시도한다. 클릭이 안 먹히면 다시 스크린샷을 찍고, 다른 위치를 클릭해본다. Anthropic은 Claude가 장애물에 부딪혔을 때 스스로 수정하고 재시도하는 행동을 관찰했다고 밝혔다.

 

4. 설정 방법

필수 조건

중요: 구독 및 플랫폼 요구사항

Computer Use를 사용하려면 다음 조건이 필요하다:

• macOS — 화면 제어(Computer Use) 기능은 현재 macOS 전용 (Windows, Linux 미지원)
• Claude Pro 또는 Max 구독 (Team·Enterprise는 현재 미지원)
• Claude 데스크톱 앱이 실행 상태여야 함 (잠자기 모드가 아닌 깨어 있는 상태)

참고: Dispatch(모바일 태스크 할당) 기능 자체는 Windows x64도 지원한다. "coming soon"은 화면 제어(Computer Use)의 Windows 지원에 해당하며, Dispatch와 Computer Use 화면 제어는 별개 기능이다.

⚠️ 단계적 롤아웃 중 — 아직 안 보여도 정상

리서치 프리뷰인 만큼 Pro/Max 구독자 전원에게 동시에 열리지 않고 순차적으로 활성화되고 있다. Dispatch 설정에서 "Claude가 컴퓨터를 제어하도록 허용" 토글이 보이지 않는다면 아직 해당 계정에 배포되지 않은 것이다. 별도 신청 없이 순차 확대되므로 기다리면 된다.

Computer Use를 사용하려면 Dispatch 설정 화면에서 "Claude가 컴퓨터를 제어하도록 허용" 토글을 켜야 한다 (설명: "Claude가 클릭, 입력 및 앱 열기를 수행할 수 있습니다"). 이 토글이 OFF인 경우 화면 제어 기능이 동작하지 않는다. 활성화 후에는 Claude가 커넥터가 없는 앱을 다룰 때 자동으로 화면 제어 모드로 전환된다.

 

Dispatch 연동

Dispatch 연동은 해당 블로그 참고.. 이미 선행되어 있어야 한다. 

Claude Cowork Dispatch 리뷰 - 외출 중에도 AI가 내 컴퓨터에서 일 시키기

 

다시 핵심 설정 부분만 가져왔다.  연결 방법은 간단하다.

1. Claude Desktop의 Cowork에서 Dispatch 클릭

2. QR코드 생성

 - 앱이 설치 안되어있으면 QR 스캔

 - 나의 경우 이미 설치 및 로그인 되어 있어서 휴대폰에 로그인되어 있습니다. 클릭

 

 - 하루만에 Claude가 컴퓨터를 제어하도록 허용 이 생겼다(이전 dispatch 기능출시엔 없던 기능) 이게 computer use 기능인 것 으로 보인다. 체크해 주자.

3. Claude 모바일 앱으로 스캔

4. 페어링 완료 — 폰과 데스크탑이 하나의 대화를 공유

이후에는 폰에서 Claude 모바일 앱을 열면 바로 그 대화에 접근할 수 있다.

 

 - 폰에서 작업하면 

 

 - PC의 cowork에서도 동일하게 동기화, 지시가 가능한 것을 볼 수 있다.

 

그리고

1. Mac에서 Claude 데스크톱 앱이 실행 중인 상태를 유지한다
2. 모바일 앱으로 Dispatch를 통해 작업을 지시한다
3. Claude가 Mac에서 화면을 제어하며 작업을 수행한다
4. 작업이 완료되면 데스크톱이나 모바일에서 결과를 확인한다

핵심 포인트

Dispatch는 Computer Use 발표(2026.3.23)와 함께 Claude Cowork와 Claude Code 양쪽에서 동시에 사용 가능해졌다.

 

5. 활용 시나리오와 프롬프트 예시

아래는 커뮤니티와 공식 데모에서 실제로 시도된 시나리오를 바탕으로 정리했다. 직접 화면 녹화나 스크린샷으로 시연해보기 좋은 것들을 우선으로 뽑았다. 리서치 프리뷰 단계이므로 실제 동작은 다를 수 있다.

 

직접 해볼 수 있는 시나리오 6선

시나리오	이렇게 시켜봐	Claude가 하는 일	시연 포인트
받은 메일 자동 분류	"받은 편지함에서 '청구서' 또는 'Invoice' 제목인 읽지 않은 이메일을 찾아서 'Invoices' 라벨을 만들고 분류해줘"	Gmail 열기 → 검색어 입력 → 라벨 생성 → 메일 선택 → 분류 → 읽음 처리	60초 내 결과, Before/After 스크린샷으로 효과 즉시 확인 (출처: Anthropic 공식 데모 시나리오)
Downloads 폴더 정리	"내 Downloads 폴더에 있는 파일들을 이미지·문서·영상·기타 폴더로 분류해줘"	Finder 열기 → 파일 확장자 파악 → 폴더 생성 → 분류 이동	어느 Mac에나 Downloads가 있음. 전후 비교 스크린샷 찍기 쉬움 (커뮤니티 공통 시나리오)
반려동물 사진 분류	"(고양이 사진 첨부) 이 고양이가 우리 냥이야. '사진' 폴더에서 이 고양이 사진만 골라서 'Kitty' 폴더로 옮겨줘"	레퍼런스 이미지 학습 → 폴더 탐색 → 시각 매칭 → 분류 이동	100% 정확도 사례 보고됨. 결과가 시각적으로 명확해서 영상으로 담기 좋음 (출처: aiblewmymind.substack.com — 10개 시나리오 실험)
쇼핑 리서치 자동화	"네이버 쇼핑에서 '무선 키보드' 10만원 이하로 검색해서 평점 높은 상위 5개 제품 이름·가격·평점을 표로 정리해줘"	브라우저 열기 → 검색 → 스크롤/탐색 → 데이터 수집 → 표 작성	내가 직접 하면 10분 걸리는 걸 지켜보는 재미. 완성된 표 스크린샷이 결과물 (Substack 랭킹 스크레이핑 사례 응용, 출처: Artificial Corner)
웹 정보 수집 체인	"Hacker News 첫 페이지에서 댓글 100개 이상인 글 3개를 찾아서 제목과 링크를 메모 앱에 정리해줘"	브라우저 → Hacker News 열기 → 댓글 수 확인 → 메모 앱 전환 → 입력	앱 간 전환을 실시간으로 볼 수 있어 라이브 데모에 적합. 결과 1~2분 내 도출 (출처: Glama.ai — HN + Google 체인 사례 응용)
Dispatch: 폰에서 지시, Mac이 실행	(폰 Claude 앱에서) "바탕화면의 발표자료.pptx를 PDF로 변환해서 오늘 오후 3시 캘린더 일정에 첨부해줘"	파일 찾기 → 앱 열기 → PDF 내보내기 → 캘린더 앱 → 일정 찾기 → 파일 첨부	폰으로 지시 → Mac으로 돌아오면 완료. Anthropic 공식 출시 데모와 동일한 시나리오 (출처: Anthropic 공식 블로그, CNBC 보도)

직접 시연 팁

Mac의 QuickTime Player로 화면 녹화를 시작한 뒤 Claude에게 지시하면 된다. 처음엔 앱 접근 권한 허용 팝업이 뜨는데, 이것도 영상의 일부로 담으면 'Permission-First' 구조를 자연스럽게 설명할 수 있다. 작업 속도는 기대보다 느릴 수 있으니 간단한 작업부터 시작하는 것을 권장한다.

ex) 내 맥북 바탕화면에 불필요한 캡쳐 파일들을 정리 하는게 목적

 - 핸드폰에서 요청

 

 - 요청 직전의 맥북 화면과, 정리 목푶 이미지들

 

 - 권한 요청이 뜬다 (폰, 맥북 모두 노출) > 권한 허용을 해주자.

ex) 휴대폰

 

 ex) 맥북

 

 -  cowork 재시작을 해주자.

 

 - 삭제 라는 작업은 당연히 위험하니 권한 요청이 필요 할 것 이다.

 

ex) 처리 과정

 - 크롬이 Browser를 처리할때처럼 주황 테두리로 감싸지며, Claude is using your computer 라는 문구가 노출된다. 

 

 - 코워크를 화면에서 잠깐 치워두고, 모든 사진을 선택하는모습

 

 - 잘 삭제한 후 레포팅 해준다.

 

적합한 작업 vs 아직 피해야 할 작업

적합한 작업	아직 피해야 할 작업
파일 정리, 이름 변경, 폴더 분류	은행/결제 등 금융 거래
이메일/문서 요약 및 보고서 초안	비밀번호, API 키 등 민감 정보 입력
브라우저에서 정보 수집 및 리서치	정밀한 드래그 앤 드롭이 필요한 디자인 작업
IDE에서 코드 수정, 테스트, PR 제출	실시간 알림에 즉각 반응해야 하는 작업
반복적인 데이터 입력/수집	시간에 민감한 주식 거래 등
	법률 문서 또는 계약서 처리
	의료·건강 정보 처리

속도에 대한 기대치

커넥터를 통한 작업(Slack 메시지 전송 등)은 수 초 내에 완료되지만, 화면 제어 기반 작업은 스크린샷 캡처 → 분석 → 액션의 사이클을 반복하므로 상대적으로 느리다. 공식적인 속도 수치는 발표되지 않았지만, API 대비 화면 제어가 느리다는 점은 Anthropic도 인정한 사항이다.

 

6. 안전성과 보안

Permission-First 접근

Anthropic은 Computer Use를 Permission-First(허가 우선) 접근 방식으로 설계했다:

• 앱별 승인: Claude가 새로운 앱에 접근하기 전에 반드시 사용자의 허가를 요청한다
• 즉시 중단: 사용자가 언제든지 Claude의 작업을 중단할 수 있다
• 접근 제한: 일부 앱은 안전상의 이유로 기본적으로 접근이 차단되어 있다

 

프롬프트 인젝션 방어

프롬프트 인젝션은 Computer Use에서 특히 중요한 보안 이슈다. Claude가 인터넷에 연결된 화면의 스크린샷을 해석하기 때문에, 악의적인 지시가 포함된 콘텐츠에 노출될 수 있다.

 

Anthropic의 대응:

• 전용 분류기(Classifier) 배치: 화면에 표시된 악의적 텍스트가 Claude의 지시를 덮어쓰려 할 때를 감지하는 전용 분류기를 운용한다. Anthropic은 "classifiers"와 "safeguards"라는 용어를 공식적으로 사용하며, Computer Use 세션 중 이를 통해 악의적 사용을 탐지하고 방어한다
• 안전 장치 레이어: 분류기 외에도 다층적인 안전 장치를 적용하여 프롬프트 인젝션 시도를 차단한다

주의: 리서치 프리뷰 주의사항

Anthropic은 리서치 프리뷰 기간 동안 다음을 권고한다:

• 신뢰할 수 있는 앱부터 시작하기
• 민감한 데이터를 다루지 않기
• 안전 가이드라인 확인: support.claude.com/en/articles/14128542

 

AI Safety Level 평가

Anthropic은 2024년 10월 Computer Use 첫 공개 당시, Responsible Scaling Policy(책임 있는 확장 정책)에 따라 이 기능을 ASL-2로 평가했다. ASL-2는 현재의 보안 체계로 위험을 관리할 수 있는 수준을 뜻한다. RSP는 모델 단위가 아닌 역량 임계값 기준으로 안전 등급을 판단한다.

왜 지금 출시했는지에 대해서도 Anthropic은 솔직하다 (2024년 10월 기술 블로그):

"아마도 지금, 모델이 여전히 ASL-2 수준의 보호만 필요한 시점에 Computer Use를 도입하는 것이 더 나을 것이라고 판단합니다. 이렇게 하면 위험이 너무 높아지기 전에 안전 이슈에 대응할 수 있습니다."
— anthropic.com/news/developing-computer-use

 

7. 현재 한계와 솔직한 평가

Anthropic이 인정한 제약사항

Anthropic은 과장 없이 한계를 인정한다. 공식 블로그 원문:

"현재 최고 수준임에도 불구하고, Claude의 Computer Use는 여전히 느리고 오류가 잦습니다."
— anthropic.com/news/developing-computer-use

구체적인 제약사항:

• 복잡한 작업: 복잡한 작업은 여러 번 시도해야 성공하는 경우가 있다
• 속도: 화면 기반 조작은 직접 API 통합보다 느리다
• 일부 앱 제한: 안전상의 이유로 기본적으로 접근이 차단된 앱이 있다

 

플립북 방식의 한계

스크린샷 기반(앞서 설명한 "플립북 방식")이라서 생기는 태생적 한계도 있다:

• 짧은 알림 놓침: 연속적인 비디오 스트림이 아닌 스크린샷 기반이므로, 짧게 나타났다 사라지는 알림이나 액션을 놓칠 수 있다
• 일부 동작 제한: 2024년 첫 공개 당시에는 드래그·줌 등이 미지원이었다. 2025년 1월 업데이트(computer_20250124)로 스크롤과 드래그가 추가 지원됐다. 줌(zoom)은 2025년 11월 업데이트(computer_20251124)에서 추가 지원됐다
• 예기치 않은 행동: 데모 녹화 중 Claude가 코딩 작업을 중단하고 갑자기 옐로스톤 국립공원 사진을 구경하기 시작한 적도 있다

에피소드: 녹화 사고

Anthropic은 재미있는 실수 사례도 공유했다. Computer Use 데모 녹화 중에 Claude가 실수로 화면 녹화를 중지하는 버튼을 클릭해서 모든 녹화 영상이 날아가 버렸다고 한다. AI가 스스로 화면을 조작하는 것이 얼마나 예측 불가능할 수 있는지를 잘 보여주는 일화다.

 

플랫폼 제한

현재 가장 큰 제약은 macOS 전용이라는 점이다. Windows나 Linux 사용자는 사용할 수 없다. Anthropic은 초기 사용자 피드백을 바탕으로 플랫폼 지원을 확대할 계획이라고 밝혔다.

 

8. 경쟁 구도

OpenAI, Google과의 데스크탑 제어 경쟁

컴퓨터를 직접 조작하는 AI — 이 분야에서 OpenAI와 Google도 뛰고 있다. "대화만 잘하는 AI"에서 실제로 화면을 만지는 AI로 넘어가는 건 업계 전체의 방향이다.

항목	Anthropic (Claude)	OpenAI	Google
데스크탑 제어	출시 (리서치 프리뷰, 2026.3)	출시 (Operator/CUA, 2025.1~)	출시 (Project Mariner, 리서치 프로토타입, AI Ultra 구독자 대상, 미국)
OSWorld 성능	72.5% (Sonnet 4.6)	47.3% (GPT-5.2, 2025.12 기준)	미공개
모바일 연동	Dispatch (폰→Mac)	OpenClaw (오픈소스 자율 AI 에이전트, Peter Steinberger 창시 — OpenAI가 2026년 2월 Steinberger를 영입)	미발표
지원 플랫폼	macOS	-	-

비교표 참고사항

위 비교표는 2026년 3월 기준이며, AI 업계는 빠르게 변하고 있다. 경쟁사 정보는 공식 발표가 제한적이어서 불완전할 수 있다. OSWorld 점수는 Anthropic의 Vercept 인수 발표에서 인용한 수치이며, 평가 조건이 동일한지는 별도 확인이 필요하다.

 

Anthropic이 먼저 출시한 이유

데스크탑 제어를 Anthropic이 먼저 출시할 수 있었던 이유가 있다:

• 2024년 10월부터 퍼블릭 베타로 개발자 피드백을 수집해왔다
• Vercept 인수로 컴퓨터 비전 + 인터랙션 전문성을 확보했다
• 리스크가 관리 가능한 현 시점에 출시하여 실전 경험을 쌓는 전략적 판단

 

9. 커뮤니티 반응: 열광, 불만, 그리고 보안 경고

Computer Use 출시 이후 빠른 속도로 반응들이 쏟아졌다. 전반적인 흐름은 "혁신적이지만 아직 갈 길이 멀다"로 요약된다. 플랫폼별 온도 차가 컸고, 실사용 경험과 보안 우려가 뒤섞인 복잡한 그림이 그려졌다.

 

"새로운 세계" vs 사이버보안 주가 폭락

발표 직후 X에서는 감탄과 충격이 동시에 터져 나왔다.

"Claude can now use your computer exactly like you do. I'll say it again: In 2026, an AI can use a computer exactly like a human. We are in a whole new world."
(이제 Claude는 사람처럼 컴퓨터를 직접 다룰 수 있게 되었습니다. 다시 강조하자면, 2026년 현재 AI는 인간처럼 컴퓨터를 조작할 수 있는 수준에 도달했습니다. 말 그대로 새로운 시대가 시작된 것입니다.)
— @daniel_mac8 (X, 2026.3.23)

개발자들의 실사용 후기도 빠르게 퍼졌다. "테스트 자동화, PR 작성, 릴리스 노트까지 Claude가 다 해줬다"는 류의 경험담이 X에 이어졌고, 특히 Dispatch와 결합한 "자리 비운 사이 작업 완료" 시나리오가 눈길을 끌었다.

 

한편 같은 시기, Anthropic의 Claude Code Security 출시(2026년 2월)를 계기로 사이버보안 관련 기업 주가가 큰 폭으로 하락했다는 보도가 나왔다. CrowdStrike 이틀간 누적 약 -18%(2/20 -8%, 2/23 -10.6%), Palo Alto Networks 약 -7% 하락이 보고됐으며, AI가 보안 업무를 자동화할 경우 기존 보안 소프트웨어 시장이 타격을 받을 수 있다는 우려가 반영된 것이다. Computer Use 출시 이후에도 이 우려는 지속됐다.

 

한편 Anthropic은 3월 13~27일까지 비피크 시간대(미국 동부 기준 평일 오후 2시 이후 + 주말 종일)에 사용량 한도를 2배로 늘리는 프로모션을 진행했다. Computer Use 출시(3월 23일)보다 앞서 시작된 프로모션이지만, 토큰 소모가 큰 Computer Use 사용자에게도 도움이 됐다.

 

실사용 체험기

DEV Community에서 화제가 된 글이 있다. 제목부터 강렬하다: "지하철에서 Claude에게 문자를 보냈더니, 돌아오니 슬라이드 덱이 완성되어 있었다."

• QR 코드 스캔으로 페어링하는 데 60초도 안 걸렸다
• 폰에서 "어제 회의록으로 슬라이드 만들어줘"라고 보내고 20분 후 사무실에 도착하니 완성된 프레젠테이션이 바탕화면에 있었다
• 로컬 파일(문서, 코드 등)은 Mac 밖으로 나가지 않고, Claude가 Mac에서 직접 파일을 생성·수정한다
• 하루 종일 하나의 대화 스레드가 유지되어 오전에 분석한 내용을 오후에 "아까 그 분석에서 이상값 뽑아줘"라고 이어갈 수 있었다

(출처: DEV Community, 2026.3.21)

기술적 정확도 보충

"파일이 기기를 떠나지 않는다"는 로컬 파일(문서, 코드 등)의 관점에서는 맞다. 파일 자체는 Anthropic 서버로 업로드되지 않는다. 다만 스크린샷은 Anthropic 서버의 Claude 모델로 전송되어 처리된다. 비밀번호·금융 정보 등 민감한 내용이 화면에 표시되는 상황을 피해야 하는 이유다.

 

사용량 한도 위기와 실험 사고

r/ClaudeCode(주간 기여자 4,200명+)에서는 기술적 성능에는 대체로 동의하면서도, 운영상 문제들이 격렬하게 논의됐다.

사용량 한도 위기

"Claude Is Dead to Me"라는 제목의 스레드가 큰 공감을 얻었다. Computer Use가 매 액션마다 스크린샷을 캡처·분석하기 때문에 토큰 소모가 일반 대화보다 훨씬 크다는 것이 핵심 불만이었다. Pro 플랜($20/월) 사용자들은 "1시간 작업에 하루 한도 소진"을 경험했다고 보고했다.

11GB 파일 삭제 사건

한 사용자가 "디스크 정리를 해달라"고 요청했더니 Claude가 맥락을 오해해 11GB 분량의 프로젝트 파일을 삭제했다는 보고가 올라왔다. 해당 사용자는 Time Machine 백업으로 복구했지만 "Computer Use에는 반드시 명확한 경계 설정이 필요하다"고 강조했다. 이 사건은 Permission-First 설계의 중요성을 실감케 하는 사례로 커뮤니티에 널리 공유됐다.

METR 등 AI 평가 기관들이 에이전트 자율성을 측정하는 방식에 대한 관심도 높아졌다. 커뮤니티에서는 "아직 보조 도구지 완전한 자율 에이전트가 아니다"라는 현실적인 시각과, "출발점으로는 인상적"이라는 기대감이 공존했다.

 

Claude vs 다른 AI 에이전트

항목	Claude Computer Use	Operator (OpenAI)
인터페이스	Mac 데스크톱 앱 (네이티브)	브라우저 기반 웹 태스크 특화
접근 방식	스크린샷 → 추론 → 액션	DOM/웹 요소 직접 조작
지원 OS	macOS 전용 (현재)	웹 브라우저 (OS 독립)
강점	로컬 앱 전반 제어, Dispatch 폰 연동	웹 쇼핑·예약 등 온라인 태스크
커뮤니티 평가	"더 범용적, 하지만 비쌈"	"웹 특화에서 더 빠르고 안정적"

⚠️ 위 비교는 Reddit 커뮤니티 사용자 의견을 종합한 내용으로, 공식 벤치마크가 아니다.

 

Hacker News: "비전은 형편없는 인터페이스다"

기술 비판에 날카로운 HN 커뮤니티의 반응은 가장 냉정했다.

"Vision is a crappy interface to a computer. All these systems, no matter how good the underlying model gets, are fighting against the UI/UX, not with it. 90% of the complexity is edge cases: pop-ups, CAPTCHAs, permission dialogs, unexpected loading states."
(화면을 보고 판단하는 Vision 방식은 컴퓨터를 조작하는 인터페이스로는 비효율적입니다. 기반 모델의 성능이 아무리 좋아져도, 현재 방식은 UI/UX를 잘 활용하는 구조가 아니라 그 불편함을 억지로 버텨내는 구조에 가깝습니다. 실제 어려움의 대부분은 예외 상황 처리에 있는데, 팝업창이나 CAPTCHA, 권한 요청창, 비정상적으로 보이는 로딩 상태 같은 것들이 대표적입니다.)
— HN 상위 댓글 (2026.3.23, 대규모 찬성)

"The most interesting thing about Claude Computer Use isn't what it can do — it's how it fails. It's like watching someone who grew up without computers trying to use one. The gaps reveal exactly where human intuition fills in."
(Claude Computer Use의 진짜 흥미로운 포인트는 성공 사례보다 실패 방식에 있습니다. 그 실패를 보고 있으면, 마치 컴퓨터 사용 문화에 익숙하지 않은 사람이 낯선 기계를 더듬거리며 다루는 모습처럼 느껴집니다. 그리고 바로 그 서툰 지점들을 통해, 평소에는 당연하게 여겼던 인간의 직관이 실제로 얼마나 많은 빈틈을 메우고 있었는지가 선명하게 보입니다.)
— HN 상위 댓글 (2026.3.23)

HN에서 특히 주목받은 프로젝트는 오픈소스 브라우저 자동화 도구 Cerebellum과 macOS 키보드 트리거 기반 인터페이스 Action이었다. 커뮤니티는 Claude가 직접 제공하는 기능보다, 이를 기반으로 만들어지는 파생 프로젝트들에 더 많은 관심을 보였다. "API를 공개하면 커뮤니티가 나머지를 한다"는 Anthropic의 전략이 이미 작동하고 있다는 평가였다.

 

"Claudy Day": Claude 프롬프트 인젝션 취약점 공개 (2026.3.18~19)

Computer Use 출시 직전인 2026년 3월 18~19일, 보안 기업 Oasis Security가 Claude 관련 취약점 3건을 연달아 공개했다. 보안 커뮤니티는 이를 "Claudy Day"라 불렀다. 공식 CVE 번호는 아직 부여되지 않았다.

 

• 취약점 1: URL 파라미터를 통한 보이지 않는 프롬프트 인젝션 — claude.ai/new?q= 파라미터에 악성 지시를 삽입한 URL로 사용자를 유도하면, 사용자 모르게 Claude가 해당 지시를 실행할 수 있다. Computer Use 환경에서는 파일 시스템 접근으로 연결될 수 있어 위험도가 높다.
• 취약점 2: Files API를 통한 데이터 유출 — Claude의 Files API를 악용해 사용자의 민감한 데이터를 외부로 유출할 수 있는 경로가 발견됐다. Anthropic은 패치를 배포했다.
• 취약점 3 (참고): ZombAIs 연구 — 보안 연구자 Johann Rehberger(embracethered.com)가 2024년 10월 발표한 별도 연구로, 악성 웹페이지를 탐색하는 Claude Computer Use가 콘텐츠에 숨겨진 명령을 따라 공격자 서버에 접속하는 흐름을 시연했다. Simon Willison이 자신의 블로그에서 이 연구를 인용·소개해 널리 알려졌다. "LLM은 자신의 컨텍스트에 들어오는 지시를 출처와 무관하게 따르는 경향이 있다"는 근본적 한계를 드러낸 사례다.

 

보안 연구자들은 "Computer Use처럼 AI가 실제 시스템을 제어할수록 프롬프트 인젝션의 파급력이 커진다"고 경고했다. Anthropic은 classifiers와 safeguards를 통해 이를 완화하고 있으나, 공격 기법은 계속 진화하는 만큼 주의가 필요하다.
(출처: Oasis Security 블로그, 2026.3.18)

 

한국 커뮤니티

• 국내 테크 미디어: AI타임스, ZDNet 코리아 등에서 기능 소개 기사가 나왔으며, 전반적으로 "실험적 사용에는 적합하나 기업 프로덕션 수준은 아직"이라는 톤
• 클리앙 등 커뮤니티: Max 플랜(월 $200, 약 30만원)의 사용량 정책에 대한 비판. "하루에 여러 번 짧게 쓰면 월 중순에 한도 도달"
• 전반적 기대감: 빌 게이츠의 "5년 안에 컴퓨터 사용 방식이 바뀐다"에 대해 "5년도 길다"는 반응

 

시장 반응 종합 — 장점과 한계

장점 (실사용자 기반)	한계 (실사용자 기반)
Dispatch로 폰 → Mac 원격 작업 가능	macOS 전용 (Windows·Linux 미지원)
파일 자체는 Mac 밖으로 나가지 않음	스크린샷은 Anthropic 서버 전송 (개인정보 주의)
테스트 실행, PR 작성 등 반복 작업 자동화	토큰 소모가 일반 대화의 10~20배
지시 언어 자유롭고 자연어로 충분	팝업·CAPTCHA 등 예외 상황에서 자주 멈춤
복잡한 멀티앱 워크플로우 연결 가능	직접 작업보다 느린 경우 많음 (스크린샷 루프)
Permission-First 설계로 기본 안전성 확보	프롬프트 인젝션 등 보안 위협 여전히 존재
오픈소스 파생 프로젝트 생태계 형성 중	복잡한 작업은 여러 번 재시도 필요, 아직 완전 자율 에이전트 수준 아님

위 내용은 커뮤니티 사용자 경험을 종합한 것이며, 개인 환경에 따라 다를 수 있습니다.

 

10. 구독 플랜

Computer Use는 다음 구독 플랜에서 사용할 수 있다:

토큰 소모 참고

Computer Use는 매 동작마다 스크린샷을 캡처하고 분석하기 때문에, 일반 텍스트 대화보다 토큰 소모가 크다. Pro 플랜의 사용량 한도가 평소보다 빠르게 소진될 수 있으므로 참고하자.

플랜	Computer Use	Dispatch
Free	X	X
Pro	O (리서치 프리뷰)	O
Max	O (리서치 프리뷰)	O
Team / Enterprise	X (Computer Use 기능은 Pro/Max 전용)	O (Cowork 앱 자체는 지원)

 

11. 결론

Claude Computer Use는 "말만 잘하는 AI"에서 실제로 화면을 조작해서 일을 처리하는 AI로 넘어가는 시도이다.

주요 내용:

• 커넥터 우선, 화면 제어 폴백: Slack이나 Calendar 같은 커넥터가 있으면 먼저 사용하고, 없으면 화면을 직접 제어
• Dispatch와의 시너지: 폰에서 지시하면 Mac의 Claude가 화면을 띄워 작업 수행
• OSWorld 72.5%: 인간 수준(72.36%, OSWorld 공식)에 접근하는 벤치마크 성능
• Permission-First: 앱별 승인, 즉시 중단, 프롬프트 인젝션 방어
• 아직 초기 단계: macOS 전용, 복잡한 작업은 재시도 필요, 화면 기반이라 느림

 

"리서치 프리뷰"로 낸 건 의도적이다. 완벽해질 때까지 기다리기보다, 실제 사용자한테 부딪혀보면서 고치겠다는 방식이다. Cowork도 그렇게 시작했다.

빈 책상 위 컴퓨터가 혼자 화면을 띄우고 일하는 광경은 확실히 인상적이다. 다만 지금 당장은 믿을 수 있는 앱에서, 민감하지 않은 작업부터 시도해보는 게 맞다.

참고 자료

• 공식 블로그: claude.com/blog/dispatch-and-computer-use (2026.3.23)
• 제품 페이지: claude.com/product/cowork
• Vercept 인수: anthropic.com/news/acquires-vercept
• Computer Use 개발 과정: anthropic.com/news/developing-computer-use
• 안전 가이드: support.claude.com/en/articles/14128542