AI가 드디어 여러분의 마우스와 키보드를 대신 잡았습니다

2026년 3월 5일, OpenAI가 GPT-5.4를 발표하면서 AI 역사에 새로운 이정표가 세워졌습니다. 바로 OSWorld 벤치마크에서 75%의 성공률을 기록하며, 인간 전문가(72.4%)를 처음으로 넘어선 것입니다. 단순히 텍스트를 생성하거나 코드를 작성하는 수준을 넘어, AI가 실제로 여러분의 컴퓨터 화면을 보고, 마우스를 움직이고, 버튼을 클릭하고, 텍스트를 입력할 수 있는 시대가 열렸습니다.

이 가이드에서는 GPT-5.4의 컴퓨터 사용(Computer Use) 기능을 실제로 설정하고 활용하는 방법을 단계별로 알려드리겠습니다. 개발자든 비개발자든, 데스크톱 자동화의 실전 활용법을 바로 적용할 수 있도록 구성했습니다.

왜 지금인가: GPT-5.2에서 5.4까지의 급속한 진화

불과 9개월 전만 해도 상황은 달랐습니다. GPT-5.2의 OSWorld 점수는 47.3%에 불과했고, GPT-5.3 Codex가 64%까지 끌어올렸지만 여전히 인간 수준에는 미치지 못했습니다. 그런데 GPT-5.4가 단숨에 75%를 달성하면서 약 4개월 만에 28포인트나 향상되는 놀라운 속도를 보여줬습니다.

OSWorld는 실제 컴퓨터 환경에서 다양한 데스크톱 작업을 수행하는 능력을 측정하는 벤치마크입니다. 웹 브라우저 조작, 스프레드시트 편집, 파일 관리 등 일상적인 컴퓨터 작업이 모두 포함됩니다. 인간 전문가의 성공률이 72.36%인 이 벤치마크에서 AI가 75%를 기록했다는 것은, 특정 유형의 반복적인 데스크톱 작업에서 AI가 사람보다 더 안정적으로 수행할 수 있다는 의미입니다.

물론 이 수치를 맹신해서는 안 됩니다. 75%라는 것은 4번 중 1번은 실패한다는 뜻이기도 합니다. 하지만 반복적이고 정형화된 작업에서는 이미 충분히 실용적인 수준에 도달했습니다.

GPT-5.4 컴퓨터 사용 기능의 작동 원리

GPT-5.4의 컴퓨터 사용 기능은 생각보다 직관적인 방식으로 작동합니다. 핵심은 "보고 → 판단하고 → 행동하는" 루프입니다.

1단계: 스크린샷 캡처 및 분석 — 현재 화면 상태를 스크린샷으로 캡처합니다. GPT-5.4는 최대 1,024만 픽셀의 이미지를 처리할 수 있어서, 고해상도 모니터에서도 UI 요소를 정확하게 인식합니다.

2단계: 행동 결정 — 스크린샷을 분석한 후, 모델이 다음에 수행할 작업을 결정합니다. 클릭, 타이핑, 스크롤, 드래그, 더블클릭, 키보드 단축키 등 다양한 액션을 지원합니다.

3단계: 실행 및 확인 — 결정된 액션이 실행되고, 다시 스크린샷을 캡처해서 결과를 확인합니다. 이 과정이 작업 완료까지 반복됩니다.

중요한 점은 GPT-5.4가 직접 컴퓨터를 제어하는 것이 아니라 행동 명령만 전달한다는 것입니다. 실제 실행은 여러분의 애플리케이션이 담당하므로, 위험한 명령을 필터링하거나 특정 작업을 차단하는 안전장치를 구현할 수 있습니다.

실전 설정 가이드: 5단계로 시작하기

준비물

• OpenAI API 키 (유료 계정, 최소 Tier 1 — $5 이상 사용 이력 필요)
• Python 3.8 이상
• 디스플레이가 있는 데스크톱 환경 (macOS, Windows, Linux 모두 지원)

Step 1: 환경 설정

프로젝트 디렉토리를 만들고 필요한 패키지를 설치합니다.

mkdir gpt54-automation && cd gpt54-automation
python -m venv venv && source venv/bin/activate
pip install openai pyautogui pillow

Step 2: 스크린샷 캡처 구현

화면을 캡처해서 base64로 인코딩하는 함수를 작성합니다. PyAutoGUI의 screenshot() 함수를 사용하면 간단하게 구현할 수 있습니다.

Step 3: API 호출

OpenAI의 Responses API를 사용하여 스크린샷과 함께 작업 지시를 전달합니다.

response = client.responses.create(
    model="gpt-5.4",
    tools=[{
        "type": "computer_use_preview",
        "display_width": 1920,
        "display_height": 1080,
        "environment": "mac"  # 또는 "windows", "linux"
    }],
    input=[{"role": "user", "content": "Excel 파일을 열고 A1 셀에 '매출보고서'라고 입력해주세요"}],
    reasoning={"effort": "medium"}
)

display_width와 display_height는 실제 화면 해상도와 일치시키는 것이 정확도를 높이는 핵심입니다.

Step 4: 액션 실행

API 응답에서 반환된 액션 명령(click, type, scroll 등)을 PyAutoGUI로 실행합니다. 모델이 computer_call을 반환하면 해당 액션을 수행하고, 다시 스크린샷을 캡처해서 API에 전달하는 루프를 구성합니다.

Step 5: 자동화 루프 완성

previous_response_id를 활용한 응답 체이닝(Response Chaining)으로 여러 단계의 작업을 연결합니다. 모델이 더 이상 computer_call을 반환하지 않으면 작업이 완료된 것입니다.

ChatGPT에서 바로 사용하는 방법 (비개발자용)

API를 직접 다루기 어려운 분들은 ChatGPT의 Agent Mode를 활용할 수 있습니다. ChatGPT Plus, Pro, Team 사용자라면 채팅창에서 도구 드롭다운을 클릭하고 "Agent Mode"를 선택하거나, /agent를 입력하면 됩니다.

Agent Mode에서는 가상 컴퓨터 위에서 웹 브라우징, 코드 실행, 파일 처리가 모두 가능합니다. 예를 들어 "상위 10개 프로젝트 관리 도구를 조사하고 가격 비교 스프레드시트를 만들어줘"라고 요청하면, 에이전트가 각 웹사이트를 방문하고 정보를 수집한 후 비교표까지 자동으로 생성합니다. 수동으로 하면 3~4시간 걸릴 작업을 약 25분 만에 완료할 수 있습니다.

중요한 작업을 수행할 때는 사용자에게 확인을 요청하며, 필요할 때 브라우저를 직접 제어할 수 있는 "take over" 기능도 제공됩니다.

실전 활용 사례

웹 폼 자동 입력: CRM 인터페이스, 주문 시스템, 신청 양식 등에 데이터를 자동으로 입력합니다. 필드를 시각적으로 인식하고 기존 텍스트를 지운 후 새 값을 입력하는 과정을 자동으로 수행합니다.

데이터 추출 및 보고서 생성: SharePoint에서 재무 보고서를 다운로드하고, 매출 데이터를 추출해서 Excel 대시보드를 업데이트한 뒤, 결과를 이메일로 전송하는 멀티 스텝 워크플로우를 자동화할 수 있습니다.

레거시 시스템 작업: API가 없는 오래된 소프트웨어도 GUI를 통해 조작할 수 있습니다. 이것은 GPT-5.4 컴퓨터 사용 기능의 가장 강력한 장점 중 하나입니다.

이커머스 운영: WordPress WooCommerce 스토어 구축부터 DNS 설정, 결제 시스템 연동까지 한 번에 처리하는 사례도 보고되고 있습니다.

GPT-5.4 vs Claude: 어떤 모델을 선택해야 할까

컴퓨터 사용 분야에서 GPT-5.4의 가장 강력한 경쟁자는 Anthropic의 Claude입니다. OSWorld 벤치마크 기준으로 GPT-5.4는 75.0%, Claude Opus 4.6은 72.7%를 기록했습니다. 수치상으로는 GPT-5.4가 앞서지만, 실제 활용에서는 상황에 따라 다릅니다.

GPT-5.4가 유리한 경우: 데스크톱 자동화, 멀티 스텝 UI 조작, 100만 토큰 컨텍스트를 활용한 대용량 문서 처리, 비용 효율성($10/$30 per MTok)

Claude가 유리한 경우: 코드 리뷰 및 대규모 코드베이스 작업(SWE-Bench Verified에서 Claude Opus 80.8% vs GPT-5.4 57.7%), 멀티 에이전트 오케스트레이션, 안전성 중심 설계

현재 개발자들 사이에서는 하이브리드 전략이 대세입니다. 컴퓨터 사용과 깊은 추론이 필요한 작업에는 GPT-5.4를, 코딩과 에이전트 오케스트레이션에는 Claude를 사용하는 방식입니다.

보안과 안전: 반드시 지켜야 할 원칙들

AI에게 컴퓨터 제어권을 주는 것은 강력하지만 위험할 수도 있습니다. 다음 원칙을 반드시 지켜야 합니다.

격리된 환경에서 실행하세요. Docker 컨테이너나 가상 머신을 사용하는 것이 가장 안전합니다. OpenAI 공식 문서에서도 파일 시스템 접근을 차단하고, 빈 환경 변수로 실행할 것을 권장합니다.

사람의 검토를 유지하세요. 75% 성공률은 4번 중 1번 실패한다는 의미입니다. 금융 거래, 이메일 발송, 파일 삭제 같은 고위험 작업에서는 반드시 사람의 확인을 거쳐야 합니다.

스크린샷을 신뢰하지 않는 입력으로 취급하세요. OpenAI는 스크린샷, 웹페이지 텍스트, 이메일 등 서드파티 콘텐츠를 신뢰할 수 없는 입력(untrusted input)으로 다룰 것을 명시하고 있습니다. 프롬프트 인젝션(Prompt Injection) 공격에 대한 방어가 필요합니다.

자동화 편향에 주의하세요. AI의 출력이 자신감 있게 보인다고 해서 항상 정확한 것은 아닙니다. 2026년 국제 AI 안전 보고서에서도 사람들이 AI 결과를 과도하게 신뢰하는 "자동화 편향(Automation Bias)"을 주요 위험으로 지적했습니다.

비용은 얼마나 들까

GPT-5.4의 가격은 입력 토큰 100만 개당 약 $10, 출력 토큰 100만 개당 약 $30입니다. 스크린샷이 포함되면 입력 토큰 소비가 크게 증가하므로, 10~20장의 스크린샷이 포함된 일반적인 자동화 세션은 $0.10~$0.50 정도입니다.

비용 최적화를 위해서는 reasoning.effort를 작업 복잡도에 맞게 조절하고(단순 작업은 "low", 복잡한 작업은 "high"), 스크린샷 해상도를 필요한 수준으로 조정하는 것이 좋습니다.

앞으로의 전망: 75%에서 99%까지

현재 75%의 성공률에서는 인간의 감독이 필수적입니다. 업계에서는 6~12개월 내에 90%에 도달할 것으로 전망하고 있으며, 이 수준에서는 감독 하의 자동화가 본격적으로 실용화됩니다. 99%에 도달하면 진정한 자율 운영이 가능해질 것입니다.

GPT-5.2(47.3%)에서 GPT-5.4(75%)까지 약 4개월 만에 58%의 성능 향상이 이루어진 것을 고려하면, 이 전망은 충분히 현실적입니다.

지금 당장은 GPT-5.4 컴퓨터 사용 기능을 "보조 자동화(Assisted Automation)" 도구로 활용하는 것을 추천합니다. AI가 전체 작업의 80%를 처리하고, 사람이 결과를 검증하는 방식이 현재 가장 효과적인 활용법입니다. 실제로 한 태양광 에너지 기업에서는 이런 방식으로 GPT-5.4가 "반복 작업의 80%를 처리"하고 분석가들이 결과만 검증하는 워크플로우를 구축해서 생산성을 크게 높였습니다.

AI 데스크톱 자동화의 시대가 시작되었습니다. 완벽하지는 않지만, 이미 충분히 유용합니다. 지금이 바로 시작해볼 때입니다.