freemcplab / 디렉터리 / 플레이그라운드 / UI-TARS Desktop

● 공식 bytedance ⚡ 바로 사용

UI-TARS Desktop

Name: UI-TARS Desktop MCP Server
Author: bytedance

제작: bytedance · bytedance/UI-TARS-desktop

ByteDance's open multimodal agent stack — vision-grounded computer-use, callable from Claude via MCP.

UI-TARS Desktop is ByteDance's open multimodal agent platform. It uses screen understanding for desktop control and exposes itself as MCP. Claude can delegate vision-grounded GUI tasks where text-only tools fall short.

▶ 데모 보기 📦 설치 💡 사용 사례

왜 쓰나요

핵심 기능

Vision-grounded GUI control
Multi-model backend
MCP surface
Replay + audit
Open from a large company
Cross-platform desktop

라이브 데모

실제 사용 모습

준비됨

설치

클라이언트 선택

~/Library/Application Support/Claude/claude_desktop_config.json · Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "ui-tars-desktop-mcp": {
      "command": "docker",
      "args": [
        "run",
        "-p",
        "8080:8080",
        "ghcr.io/bytedance/ui-tars-desktop:latest"
      ]
    }
  }
}

Claude Desktop → Settings → Developer → Edit Config 열기. 저장 후 앱 재시작.

~/.cursor/mcp.json · .cursor/mcp.json

{
  "mcpServers": {
    "ui-tars-desktop-mcp": {
      "command": "docker",
      "args": [
        "run",
        "-p",
        "8080:8080",
        "ghcr.io/bytedance/ui-tars-desktop:latest"
      ]
    }
  }
}

Cursor는 Claude Desktop과 동일한 mcpServers 스키마 사용. 프로젝트 설정이 전역보다 우선.

VS Code → Cline → MCP Servers → Edit

{
  "mcpServers": {
    "ui-tars-desktop-mcp": {
      "command": "docker",
      "args": [
        "run",
        "-p",
        "8080:8080",
        "ghcr.io/bytedance/ui-tars-desktop:latest"
      ]
    }
  }
}

Cline 사이드바의 MCP Servers 아이콘 클릭 후 "Edit Configuration" 선택.

~/.codeium/windsurf/mcp_config.json

{
  "mcpServers": {
    "ui-tars-desktop-mcp": {
      "command": "docker",
      "args": [
        "run",
        "-p",
        "8080:8080",
        "ghcr.io/bytedance/ui-tars-desktop:latest"
      ]
    }
  }
}

Claude Desktop과 같은 형식. Windsurf 재시작 후 적용.

~/.continue/config.json

{
  "mcpServers": [
    {
      "name": "ui-tars-desktop-mcp",
      "command": "docker",
      "args": [
        "run",
        "-p",
        "8080:8080",
        "ghcr.io/bytedance/ui-tars-desktop:latest"
      ]
    }
  ]
}

Continue는 맵이 아닌 서버 오브젝트 배열 사용.

~/.config/zed/settings.json

{
  "context_servers": {
    "ui-tars-desktop-mcp": {
      "command": {
        "path": "docker",
        "args": [
          "run",
          "-p",
          "8080:8080",
          "ghcr.io/bytedance/ui-tars-desktop:latest"
        ]
      }
    }
  }
}

context_servers에 추가. 저장 시 Zed가 핫 리로드.

claude mcp add ui-tars-desktop-mcp -- docker run -p 8080:8080 ghcr.io/bytedance/ui-tars-desktop:latest

한 줄 명령. claude mcp list로 확인, claude mcp remove로 제거.

사용 사례

실전 활용법: UI-TARS Desktop

Drive a GUI app via vision when DOM selectors fail

👤 Developers ⏱ ~15 min intermediate

언제 쓸까: You're automating a desktop or canvas app that has no scripting surface.

흐름

Bridge

Run UI-TARS; register with Claude.✓ 복사됨

→ Tool visible
Delegate

Ask Claude to delegate the GUI step.✓ 복사됨

→ UI-TARS clicks, types
Verify

Replay the screen trace.✓ 복사됨

→ Audit done

결과: GUI automation in apps with no API.

조합

다른 MCP와 조합해 10배 효율

ui-tars-desktop-mcp + openagent-mcp

UI-TARS for vision tasks; OpenAgent for code-text tasks

Combine ui-tars-desktop-mcp with openagent-mcp: UI-TARS for vision tasks; OpenAgent for code-text tasks✓ 복사됨

도구

이 MCP가 노출하는 것

도구	입력	언제 호출	비용
ui_act	(see docs)	Run a vision-grounded GUI action	1 call
ui_observe	(see docs)	Capture screen state	1 call

비용 및 제한

운영 비용

API 쿼터: Local resources + LLM
호출당 토큰: Screen-capture is heavy
금액: Free OSS; provider costs
팁: Crop the screen region you care about before sending

보안

권한, 시크릿, 파급범위

최소 스코프: screen-capture input-injection

자격 증명 저장: Replays on disk

데이터 외부 송신: Configured providers

절대 부여 금지: Run with banking app visible

문제 해결

자주 발생하는 오류와 해결

Action misses target on Retina display

Set the DPI scale; UI-TARS defaults to 1x

대안

UI-TARS Desktop 다른 것과 비교

대안	언제 쓰나	단점/장점
OpenAgent	Lower resource cost	Less vision grounding