Computer Use: control de la pantalla

Módulo: 9. Funciones avanzadas | Tiempo: unos 30 min de teoría + 40 min de práctica

Lo esencial

Un escritorio remoto donde quien opera es la IA. Claude ve tu pantalla (con capturas), puede hacer clic, escribir y desplazarse, en las aplicaciones que tú autorizaste de forma explícita (permission: un permiso, el derecho a ejecutar una acción). No es automatización del navegador ni una integración por API (interfaz de programación de aplicaciones). Es control de aplicaciones nativas: Finder, Calendar, Notes, System Settings, cualquier herramienta de escritorio sin API.

En Claude Code esto funciona con el servidor MCP integrado computer-use (Computer Use: el modo de control del escritorio). A octubre de 2026, en Claude Code para la terminal es un research preview (función experimental) en macOS para los planes Pro y Max; en Team y Enterprise no está. En la app de Claude para computadora, la misma función existe en macOS y Windows. A nivel de la API de Anthropic, la herramienta tiene una versión actual, computer_toolset_20260801 (sin encabezado beta), y la versión beta anterior, computer_20251124, para modelos viejos.

Términos de la lección: Computer Use (el modo de control del escritorio), API (interfaz de programación de aplicaciones), permission (permiso: el derecho a ejecutar una acción), prompt (la instrucción que le das a la IA), token (unidad de texto para la IA).

Conceptos clave

• Computer Use: la capacidad de Claude de controlar la pantalla mediante el servidor MCP computer-use (en Claude Code) o mediante el tool type computer_toolset_20260801 de la API (en la API de Anthropic)
• Tiered access: un sistema de acceso a aplicaciones en tres niveles (solo ver / solo clics / completo)
• request_access: la solicitud explícita de permiso para controlar una aplicación concreta antes de cualquier acción
• Screenshot → analyze → act loop: el ciclo de trabajo (agentic loop): captura, análisis, acción, revisión
• computer_batch: comandos en lote para varias acciones seguidas sin idas y vueltas (round-trips) de más
• Teach mode: un modo interactivo de enseñanza con globos de ayuda (tooltips) sobre cada acción
• zoom: ampliar una zona de la pantalla para leer texto pequeño (en la versión actual de la herramienta viene activado por defecto)

Teoría

Dos contextos de uso

Computer Use existe en dos niveles:

1. En Claude Code (vía MCP): el servidor integrado computer-use, con un conjunto de herramientas (captura de pantalla, clic, escribir texto y otras). Funciona en local en tu Mac. Viene desactivado por defecto. Para activarlo: en una sesión interactiva escribe /mcp, busca computer-use y elige Enable (la configuración se recuerda para el proyecto). La primera vez, macOS te pedirá dos permisos: Accessibility (clics y escritura) y Screen Recording (para ver la pantalla). En el modo -p (no interactivo) la función no está disponible. Los nombres de las herramientas dentro del servidor cambian de una versión a otra, así que en los ejemplos de abajo son aproximados: quien las llama es Claude, no tú.

2. A través de la API de Anthropic: tú mismo implementas la ejecución de las acciones en tu entorno (Docker, máquina virtual, Xvfb). La versión actual de la herramienta, computer_toolset_20260801, no necesita encabezado beta; para modelos viejos sigue la beta computer_20251124 con el encabezado anthropic-beta: computer-use-2025-11-24.

Esta lección se enfoca en Claude Code, pero entender el nivel de la API es importante para crear tus propias automatizaciones. Si en Claude Code hay un camino más preciso, Claude lo elige solo: primero un servidor MCP, luego Bash, luego Claude in Chrome para la web, y solo al final el control de la pantalla.

Tres niveles de acceso (Tiered Access)

🎨 Imagínalo así: los tres niveles de acceso son como el control de acceso de un edificio de oficinas. El lobby (Read): puedes mirar, no tocar. Los pisos de trabajo (Click): puedes apretar botones, no disponer de los documentos. El cuarto de servidores (Full): acceso total, solo para gente de confianza.

Computer Use funciona con permisos explícitos. Cuando Claude pide acceso a una aplicación (en la herramienta se llama request_access), ves un diálogo que indica el nivel. El permiso dura una sesión (Allow for this session). Puedes detener a Claude en cualquier momento con la tecla Esc o Ctrl+C en la terminal. Solo una sesión a la vez puede controlar la computadora:

El nivel lo define la categoría de la aplicación, no tu elección. Los navegadores siempre son solo ver, las terminales siempre son solo clics. Es una decisión de seguridad de la arquitectura. Además, antes de autorizar ves advertencias para aplicaciones con acceso amplio: terminales e IDE (equivale a acceso a la línea de comandos), Finder (puede leer y escribir cualquier archivo), System Settings (puede cambiar la configuración del sistema).

¿Por qué los navegadores son solo para ver? Para la web hay una herramienta más precisa y segura: la extensión Claude in Chrome (trabaja con el DOM, es más rápida que los clics por píxeles; mira la lección Automatización del navegador). Usar Computer Use para la web es como clavar clavos con un microscopio.

¿Por qué las terminales en Click? Para los comandos está la Bash tool, con acceso directo al shell. Escribir en la terminal con Computer Use crearía el riesgo de ejecutar comandos sin control.

Cómo pedir acceso

# En Claude Code, mediante la tool de MCP
mcp__computer_use__request_access(
    apps=["Finder", "Calendar", "Notes"],
    reason="Automatizar la creación de eventos en Calendar"
)

# El usuario ve el diálogo:
# "Claude wants to control: Finder (full), Calendar (full), Notes (full)"
# "Reason: Automatizar la creación de eventos en Calendar"
# [Allow] [Deny]

Sin llamar a request_access, Claude no puede interactuar con ninguna aplicación. Si en medio del trabajo necesita otra aplicación, hace falta otro request_access.

El ciclo de trabajo: Screenshot → Analyze → Act (Agentic Loop)

🎨 Imagínalo así: el agentic loop es como una persona ciega leyendo en braille. Toca (captura), entiende dónde está (análisis), presiona el punto correcto (acción), revisa el resultado (siguiente captura). Paso a paso, con seguridad.

Cada acción de Computer Use pasa por un ciclo que la documentación de Anthropic llama agentic loop:

1. screenshot() → obtenemos una imagen de la pantalla
2. Claude analiza: ¿qué ve? ¿dónde está el elemento? ¿qué coordenadas?
3. Claude pide una acción: click, type, scroll
4. El sistema ejecuta la acción
5. screenshot() → Claude revisa el resultado
6. Se repite hasta terminar la tarea

Coordenadas: Claude trabaja con coordenadas en píxeles [x, y] sobre la captura. La coordenada [0, 0] es la esquina superior izquierda de la pantalla.

Ejemplo en Claude Code:

# Paso 1: miramos la pantalla
screen = mcp__computer_use__screenshot()

# Paso 2: Claude analiza la imagen y encuentra el elemento
# Claude ve: botón "New Event" en Calendar, coordenadas [1180, 45]

# Paso 3: hacemos clic en las coordenadas encontradas
mcp__computer_use__left_click(coordinate=[1180, 45])

# Paso 4: escribimos el texto
mcp__computer_use__type(text="Reunión con el cliente")

# Paso 5: captura para revisar el resultado
screen_after = mcp__computer_use__screenshot()

Acciones disponibles

Básicas (todas las versiones):

• screenshot: captura de la pantalla actual
• left_click: clic en las coordenadas [x, y]
• type: escribir texto
• key: presionar una tecla o combinación (por ejemplo "ctrl+s", "Return", "Tab")
• mouse_move: mover el cursor

Ampliadas (en versiones más nuevas de la herramienta):

• scroll: desplazarse en cualquier dirección controlando cuánto
• left_click_drag: arrastrar y soltar entre coordenadas
• right_click, middle_click: botones adicionales del mouse
• double_click, triple_click: doble / triple clic
• left_mouse_down, left_mouse_up: presionar y soltar el botón por separado
• hold_key: mantener una tecla presionada cierto tiempo (en segundos)
• wait: pausa entre acciones

Ampliar la pantalla (zoom):

• zoom: amplía una zona de la pantalla para ver en detalle texto pequeño o elementos de la interfaz. En el conjunto actual de herramientas computer_toolset_20260801 viene activado por defecto; en la beta anterior computer_20251124 (para modelos anteriores; cuáles, lo indica la documentación oficial) requiere enable_zoom: true en la definición de la herramienta

Modificadores del clic: puedes mantener Shift / Ctrl / Alt / Cmd (Super) al hacer clic:

{
  "action": "left_click",
  "coordinate": [500, 300],
  "text": "shift"
}

Acciones en lote: computer_batch

🎨 Imagínalo así: computer_batch es como darle al repartidor una lista con 6 direcciones de una vez, en vez de llamarle después de cada entrega. Una salida, seis pendientes. Sin batch, son seis viajes de ida y vuelta.

En lugar de seis llamadas de ida y vuelta, un solo lote:

mcp__computer_use__computer_batch(actions=[
    {"action": "screenshot"},
    {"action": "left_click", "coordinate": [1180, 45]},
    {"action": "type", "text": "Reunión con el cliente"},
    {"action": "key", "text": "Tab"},
    {"action": "type", "text": "14:00"},
    {"action": "screenshot"}
])

Es bastante más rápido: un viaje de ida y vuelta en vez de seis. Las acciones se ejecutan en orden y se detienen en el primer error. Las coordenadas dentro del batch se refieren a la captura tomada antes de empezar el batch.

Teach Mode: enseñanza interactiva

🎨 Imagínalo así: el teach mode es como un instructor de manejo con doble control. Señala el volante, "gira aquí", tú presionas Next, él gira y tú ves el resultado. Aprendes viendo acciones reales, no leyendo un instructivo.

El teach mode es un modo en el que Claude muestra indicaciones paso a paso (tooltips) encima de la pantalla. El usuario presiona "Next" en cada paso y Claude explica qué pasa y ejecuta la acción.

# Solicitud del modo de enseñanza
mcp__computer_use__request_teach_access(
    apps=["System Settings"],
    reason="configurar el Wi-Fi"
)

# Captura inicial
mcp__computer_use__screenshot()

# Cada paso: indicación + acción
mcp__computer_use__teach_step(
    explanation="Este es el ícono de System Settings. Hacemos clic para abrir la configuración.",
    next_preview="Se abrirá la ventana de System Settings",
    anchor=[512, 400],
    actions=[
        {"action": "left_click", "coordinate": [512, 400]}
    ]
)

En el teach mode:

• La ventana principal de Claude se oculta y aparece una capa a pantalla completa con las indicaciones
• El usuario ve una flecha hacia el elemento + el texto de explicación
• Presionar "Next" ejecuta la acción y muestra el resultado
• Presionar "Exit" interrumpe la enseñanza
• teach_batch: un lote de pasos en una sola llamada (más rápido que uno por uno)

Sirve cuando grabas un video de demostración, capacitas a tu equipo o le muestras a un cliente cómo configurar algo.

Zoom: ampliar una zona de la pantalla

Para revisar texto pequeño, etiquetas de botones y detalles de la interfaz que se ven mal en la captura:

# Ampliamos la zona [x1, y1, x2, y2]
mcp__computer_use__zoom(region=[100, 200, 400, 350])

Zoom devuelve una imagen en resolución completa de la zona indicada. Las coordenadas de los clics siguientes siempre se refieren a la captura de pantalla completa, no a la imagen ampliada.

Casos prácticos de uso

Automatizar aplicaciones nativas sin API:

# Crear una tarea en Apple Reminders
# (Reminders no tiene una API pública para Claude Code)
mcp__computer_use__request_access(
    apps=["Reminders"],
    reason="Crear una tarea"
)
mcp__computer_use__open_application(app="Reminders")
screen = mcp__computer_use__screenshot()
# Claude encuentra el botón "+" y hace clic
mcp__computer_use__left_click(coordinate=[PLUS_X, PLUS_Y])
mcp__computer_use__type(text="Llamar al cliente")
mcp__computer_use__key(text="Return")

Configurar System Settings:

# Cambiar parámetros en System Settings de macOS
mcp__computer_use__request_access(
    apps=["System Settings"],
    reason="Configurar los parámetros de pantalla"
)
mcp__computer_use__open_application(app="System Settings")
# Claude ve la pantalla, encuentra la sección, hace clic y configura

Llenar formularios en sistemas corporativos:

# CRM sin API → lo llenamos con Computer Use
mcp__computer_use__request_access(
    apps=["CRM App"],
    reason="Llenar la ficha del cliente"
)
mcp__computer_use__open_application(app="CRM App")
# Claude encuentra el campo "Nombre del cliente", hace clic y escribe los datos
mcp__computer_use__computer_batch(actions=[
    {"action": "left_click", "coordinate": [NAME_X, NAME_Y]},
    {"action": "type", "text": "Juan Pérez"},
    {"action": "key", "text": "Tab"},
    {"action": "type", "text": "juan@company.com"},
    {"action": "screenshot"}
])

Computer Use a través de la API de Anthropic (para desarrolladores)

Si estás construyendo tu propia aplicación con Computer Use, necesitas entender el nivel de la API:

import anthropic

client = anthropic.Anthropic()

# Conjunto de herramientas actual: no hace falta encabezado beta
response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    tools=[
        {"type": "computer_toolset_20260801"},  # versión del conjunto de herramientas a octubre de 2026
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Toma una captura del escritorio"}],
)

# Para modelos viejos sigue la versión beta (cuáles, en la documentación oficial):
# tools=[{"type": "computer_20251124", "name": "computer",
#         "display_width_px": 1024, "display_height_px": 768}],
# betas=["computer-use-2025-11-24"]  # con client.beta.messages.create

Diferencias clave con Claude Code:

• Tú implementas la ejecución de las acciones (tomar capturas, clics, escritura)
• Se recomienda un entorno aislado: un contenedor Docker o una máquina virtual
• Claude devuelve las coordenadas respecto a la captura reescalada (máximo 2576 px en el lado largo para modelos actuales como Opus 5.5 y Sonnet 5.5, 1568 px para los anteriores)
• Con resoluciones altas, hay que convertir las coordenadas de vuelta a la escala original

Costo: cada captura agrega del orden de mil a dos mil tokens de entrada (más en modelos de alta resolución), más un pequeño costo extra por la descripción de la herramienta. La documentación recomienda no tener más de ~20 imágenes en una solicitud y limpiar el historial de capturas por bloques. Precios por token: precios y versiones actuales en Lo vigente.

Límites: lo que Computer Use no hace

La lista exacta de prohibiciones la definen la política de uso aceptable de Anthropic y la guía de seguridad de computer use; consúltalas.

Límites de precisión (de la documentación oficial):

• Latencia: Computer Use es más lento que las acciones normales de un usuario; es una herramienta de fondo, no un reemplazo del mouse
• Precisión de coordenadas: Claude puede equivocarse con las coordenadas, sobre todo en interfaces complejas
• Aplicaciones de nicho: la confiabilidad baja con aplicaciones poco comunes o con varias aplicaciones a la vez
• Inyecciones de prompt: el texto en páginas web o en imágenes puede influir en el comportamiento de Claude. Anthropic integró clasificadores para detectar inyecciones

🎨 Imagínalo así: es TeamViewer, pero quien opera es la IA. Ve tu pantalla, puede hacer clic y escribir, pero solo en las aplicaciones que autorizaste de forma explícita, y con límites para las acciones sensibles. Tú controlas por completo la lista de permisos.

Seguridad: recomendaciones de Anthropic

De la documentación oficial:

1. Usa un entorno aislado (máquina virtual / contenedor) con privilegios mínimos para las integraciones por API. En Claude Code, computer use trabaja sobre tu escritorio real, no en un sandbox: la frontera de confianza es distinta a la de Bash
2. No le des al modelo acceso a datos sensibles: usuarios, contraseñas, datos bancarios
3. Limita el acceso a internet con una lista blanca de dominios
4. Revisa las decisiones con consecuencias reales: operaciones financieras, aceptar términos, enviar datos
5. Nunca hagas clic en enlaces de correos y mensajes con Computer Use: pueden ser sospechosos
6. Recuerda la prompt injection: el texto en pantalla puede intentar darle a Claude su propia orden. Más detalle: defensa contra prompt injection

🎨 Imagínalo así: Computer Use es la herramienta de la última milla. Si hay API, usa la API (más rápido, más preciso). Si hay MCP, usa MCP. Computer Use es para cuando no hay API ni MCP, pero sí hay una tarea. Un martillo para clavos, no para cualquier trabajo.

Cuándo Computer Use y cuándo las alternativas

Práctica

Tarea: automatizar la creación de un evento en Calendar

1. Comprueba que el MCP computer-use esté activado: viene integrado en Claude Code, pero desactivado por defecto. Escribe /mcp, elige computer-use y Enable. Necesitas macOS, plan Pro o Max y una sesión interactiva; macOS te pedirá los permisos Accessibility y Screen Recording

2. Pide acceso a Calendar:

   Tú

   Pídele a Claude: "Abre Calendar y crea un evento"
   Claude llamará en automático a request_access con la aplicación Calendar
   Verás el diálogo de permiso: presiona Allow

3. Toma la primera captura y confirma que Claude ve la pantalla:

   Tú

   Claude llamará a screenshot() y describirá lo que ve

4. Crea un evento de prueba "Prueba de Claude" para mañana a las 10:00

   • Claude encontrará el botón para crear, hará clic y llenará los campos

5. Observa cómo Claude usa computer_batch: varias acciones en una sola llamada

6. Verifica con una captura final que el evento se creó

7. Bonus: prueba el teach mode: pídele a Claude "muéstrame paso a paso cómo crear un evento en Calendar". Cambiará al modo de enseñanza con indicaciones

Objetivo: entender cómo se arma el ciclo screenshot → analyze → act y sentir la latencia (Computer Use es más lento que las integraciones por API, pero funciona con cualquier aplicación).

Herramientas y recursos

• Documentación de Anthropic (Computer Use en Claude Code): code.claude.com/docs/en/computer-use
• Documentación de Anthropic (API de Computer Use): platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool, la especificación completa de la API
• Implementación de referencia: github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo, un contenedor Docker con la implementación completa
• MCP computer-use: integrado en Claude Code, se activa con /mcp
• Claude in Chrome: para tareas web, en lugar de Computer Use en el navegador
• list_granted_applications: revisar los permisos y niveles de acceso actuales

Ideas clave

Computer Use es una función para controlar aplicaciones nativas sin API (en Claude Code, a octubre de 2026, es research preview en macOS para Pro y Max). En Claude Code funciona con el servidor MCP integrado; en tus propias aplicaciones, a través de la API (computer_toolset_20260801).

Los tres niveles de acceso son una protección de arquitectura. Navegadores solo para ver (para la web está Claude in Chrome), terminales solo clics (para comandos está la Bash tool), todo lo demás con acceso completo.

Agentic loop: captura → análisis → acción → captura → revisión. Usa computer_batch para reducir los viajes de ida y vuelta y zoom para leer texto pequeño.

El teach mode es una función única para enseñar de forma interactiva. Claude muestra indicaciones paso a paso sobre la pantalla y el usuario presiona Next en cada paso.

Seguridad: nunca le des a Computer Use acceso a datos sensibles. Para integraciones por API usa Docker o una VM. Claude está entrenado para resistir inyecciones de prompt, pero el aislamiento extra es obligatorio.

Siguiente lección

→ Prompt Caching y Batch API: economía de escala