Saltar al contenido
rubén.garcía
Todos los proyectos
Logo de Jarvis

Jarvis

Asistente de escritorio que se maneja con la voz y puede funcionar sin salir del PC. Las órdenes habituales van por una vía rápida de reglas y un clasificador pequeño, y el resto las resuelve un LLM con acceso al escritorio.

Rol
Diseño y desarrollo completo
Estado
En desarrollo activo
Plataformas
Windows · Linux · macOS
Código
Repositorio privado · acceso bajo petición
acciones de escritorio: 24 sencillas y 3 que siempre piden un «sí»
27
local si se quiere: voz, LLM y síntesis sin salir del PC
100 %
sistemas operativos: Windows, Linux y macOS
3
dependencias npm en el núcleo
0

El problema

Los asistentes que pasan todo por un LLM son lentos para lo trivial y arriesgados para lo sensible: tardan segundos en abrir una calculadora y pueden ejecutar una acción destructiva por una mala interpretación.

Jarvis separa las dos cosas. Lo que debe ser instantáneo va por una vía rápida de reflejos (reglas, patrones y un clasificador), y lo que necesita razonar va a un LLM con herramientas, y cada propuesta se revisa antes de tocar el equipo. Todo puede funcionar en local, sin salir del PC.

En funcionamientoUna orden de principio a fin, un dictado y una confirmación, sobre un escritorio de ejemplo.

1 / 5

Cómo funcionaQué camino sigue una orden según lo que pida.

Voz → texto

Atajo global, detección de voz y remuestreo a 16 kHz.

whisper.cpp

Vía rápida

Reglas exactas, 11 patrones y un clasificador de reflejos.

segura ≥ 0,95

Acción

Apps, volumen, notas, temporizadores, red…

27 acciones

Resultado

Limpio de markdown y rutas para decirlo en voz alta.

Respuesta

Voz local y conversación continua hasta un «gracias».

Piper
compuesta o dudosa
aprobada

Cerebro LLM

Elige herramientas y argumentos; local o en la nube.

≤ 5 vueltas

Candado

  • Inofensiva: se aprueba sola.
  • Sensible: pide siempre un «sí» humano.
  • Resto: veredicto aprobar, revisar o bloquear con el contexto reciente.
bloqueo firme si p ≥ 0,6
Vía rápida, sin LLMVía lenta, con LLM y candado

Decisiones técnicasLo que falló en Windows, en Linux y en el modelo pequeño.

Reflejos con un LLM local obligado a responder JSON

Un modelo de 8B con salida por esquema estricto clasifica la orden en 344–483 ms, sin coste y sin conexión. Como la confianza la autoevalúa el propio modelo, solo actúa por su cuenta por encima de 0,95; por debajo, la orden pasa al LLM grande.

Un candado entre el LLM y el sistema

Cada herramienta que propone el modelo pasa por tres filtros. Las inofensivas se aprueban solas, las sensibles (apagar, cerrar apps) piden siempre un «sí» humano, y el resto recibe un veredicto aprobar, revisar o bloquear con el contexto de las últimas intervenciones.

Filtro de coherencia sobre el clasificador

El modelo pequeño confundía «sube el volumen» con bajarlo, con seguridad total, y mandaba «cuánto es el 15 % de 240» a abrir la calculadora. Patrones y comprobaciones de coherencia corrigen esos casos antes de ejecutar nada.

VRAM a cero en reposo

Whisper se arranca bajo demanda y se apaga tras 5 minutos sin uso; llama-server limita su contexto porque, sin ese límite, reservaba unos 22 GB y no dejaba sitio a la transcripción.

Micrófono sin silencios en Windows

Forzar el micrófono a 16 kHz devolvía buffers en silencio. Se graba a la frecuencia nativa y se remuestrea con filtro antialiasing, y Whisper se precalienta para no pagar 5–8 s de compilación de shaders en la primera orden.

Una ventana que no roba clics

En Linux, una ventana transparente se queda con los clics de lo que tiene debajo y Electron no los reenvía. La ventana se recorta con setShape al contorno de la píldora más su sombra, y lo comprobé leyendo el canal alfa de la ventana real en X11.

Ahorro de cupo en la nube

Si todas las herramientas salen bien y su resultado se entiende tal cual, se dice sin otra vuelta al LLM. Ante un 429 del gateway se lee Retry-After y se avisa, en lugar de reintentar a ciegas.

Tecnologías

Núcleo
  • Node.js
  • Servidor HTTP con NDJSON
  • Módulos ESM
Interfaz
  • Electron
  • Canvas
  • Web Audio API
LLM
  • Ollama
  • llama.cpp
  • AI Gateway
  • Tool calling
  • Salida estructurada
Voz
  • whisper.cpp
  • Piper
Sistema
  • Linux
  • PowerShell
  • xdotool

Próximos pasos

  • Palabra de activación («oye, Jarvis») sin atajo de teclado.
  • Memoria persistente entre conversaciones.
  • Integración con Home Assistant para la domótica.
  • Instalador con llama-server empaquetado y modelos descargados en el primer arranque.
Siguiente proyectoInmo-Sniper