De una intuición a un sistema: cómo construí un agente de investigación para mercados probabilísticos

Durante los últimos meses he estado construyendo un sistema experimental para analizar mercados probabilísticos de Bitcoin en ventanas de cinco minutos. Lo que comenzó como una simple curiosidad terminó convirtiéndose en una plataforma de investigación cuantitativa capaz de capturar datos, generar señales, entrenar modelos, medir desempeño, evaluar rentabilidad potencial y monitorear su propia estabilidad en tiempo real.

Más que un proyecto sobre Bitcoin, este desarrollo se convirtió en una exploración sobre cómo transformar una intuición en un proceso riguroso de aprendizaje.

Vivimos en una época donde es relativamente sencillo construir modelos que parecen inteligentes. Lo difícil es demostrar que realmente aportan información útil. La diferencia entre ambas cosas suele ser mucho más grande de lo que parece.

La hipótesis inicial

La pregunta original era sencilla:

¿Es posible encontrar señales que permitan estimar mejor que el mercado la probabilidad de que Bitcoin suba o baje durante los próximos cinco minutos?

No se trataba de predecir el futuro con certeza. Los mercados financieros son sistemas complejos, adaptativos y extremadamente ruidosos. La pregunta correcta era si existía alguna señal estadística, por pequeña que fuera, que pudiera mejorar el punto de partida.

En ese momento la estrategia consistía principalmente en heurísticas: reglas manuales, observación de gráficos, indicadores técnicos sencillos y mucho criterio subjetivo.

Ese enfoque es útil para aprender, pero insuficiente para generar confianza. Las heurísticas pueden producir resultados interesantes y aun así ser producto del azar.

La transición de intuición a evidencia

La siguiente etapa consistió en construir infraestructura.

Antes de entrenar modelos era necesario resolver problemas mucho más básicos:

• Capturar datos de forma consistente.
• Definir ventanas temporales comparables.
• Construir variables explicativas (features).
• Persistir observaciones.
• Versionar experimentos.
• Diseñar mecanismos de validación.

En otras palabras, antes de preguntarme si el modelo era bueno, tenía que asegurarme de que estaba aprendiendo de información confiable.

Poco a poco el proyecto dejó de parecer un script y empezó a parecer un sistema.

Aprendizaje importante: La mayor parte del trabajo en machine learning no consiste en entrenar modelos. Consiste en construir procesos confiables para generar evidencia.

Por qué la precisión no es suficiente

Uno de los errores más comunes al evaluar modelos predictivos es obsesionarse con el porcentaje de aciertos.

En mercados probabilísticos eso puede ser engañoso.

Supongamos que un modelo asigna una probabilidad de 52% a un evento y este ocurre. Técnicamente acertó. Pero no es lo mismo que haber asignado una probabilidad de 90%.

Por eso utilizamos métricas como el Brier Score, que evalúan qué tan bien calibradas están las probabilidades generadas por el modelo.

La calibración es fundamental porque las decisiones económicas no dependen únicamente de tener razón, sino de cuánto valor genera cada decisión dado el precio disponible en el mercado.

La diferencia entre una señal y un negocio

Quizá la lección más interesante del proyecto fue descubrir que una señal estadística no necesariamente se traduce en una oportunidad económica.

Un modelo puede superar un benchmark y aun así no ser rentable.

Para que exista una oportunidad real deben considerarse elementos adicionales:

• Spread bid-ask.
• Costos de ejecución.
• Frecuencia de oportunidades.
• Liquidez disponible.
• Riesgo de sobreajuste.
• Estabilidad de la señal.

Esta distinción cambió por completo el enfoque del proyecto.

El objetivo dejó de ser generar predicciones y pasó a ser identificar situaciones donde la diferencia entre la probabilidad estimada y el precio del mercado justificara asumir riesgo.

La arquitectura actual

Después de ocho fases de desarrollo, el sistema evolucionó hacia una plataforma completa de investigación y monitoreo.

Actualmente incluye:

• Captura estructurada de datos de mercado.
• Generación y versionado de features.
• Entrenamiento automatizado de modelos.
• Validación walk-forward.
• Evaluación mediante Brier Score.
• Análisis de rentabilidad esperada después de spreads.
• Persistencia de predicciones.
• Monitoreo de desempeño en vivo.
• Detección automática de drift estadístico.
• Suite de pruebas automatizadas.

Lo importante no es cada componente individual, sino la capacidad del sistema para producir evidencia acumulativa.

Ya no depende de la memoria, de opiniones o de impresiones subjetivas. Cada hipótesis puede medirse.

La importancia del monitoreo

Uno de los riesgos más grandes en machine learning es asumir que un modelo seguirá funcionando porque funcionó en el pasado.

Los mercados cambian constantemente.

La volatilidad cambia. Los participantes cambian. Los incentivos cambian.

Por eso la fase final del proyecto incorporó monitoreo continuo de:

• Desempeño reciente.
• Distribución de probabilidades generadas.
• Cambios en las variables de entrada.
• Comparación contra la distribución observada durante el entrenamiento.

Un modelo serio no solo necesita producir predicciones. También necesita detectar cuándo podría estar dejando de ser confiable.

Lo que sigue

Curiosamente, el siguiente paso no consiste en agregar más complejidad.

La pregunta más importante ahora no es:

¿Podemos construir un modelo mejor?

La pregunta es:

¿La señal encontrada es suficientemente estable, persistente y rentable como para justificar una transición desde investigación hacia ejecución?

Ese cambio implica pasar de un modelo predictivo a un agente de decisión.

Predicción
↓
Evaluación de contexto
↓
Valor esperado
↓
Decisión
↓
Ejecución o abstención

La diferencia parece pequeña, pero conceptualmente es enorme.

Un modelo responde una pregunta.

Un agente toma una decisión.

Reflexión final

Quizá la lección más valiosa de este proyecto no tiene que ver con Bitcoin, machine learning o mercados probabilísticos.

Tiene que ver con la forma en que construimos conocimiento.

Las intuiciones son importantes. La curiosidad es importante. Las hipótesis son importantes.

Pero el verdadero aprendizaje ocurre cuando somos capaces de transformar esas intuiciones en sistemas que producen evidencia.

Al final, la ventaja competitiva rara vez surge de una idea brillante aislada. Surge de la disciplina de medir, cuestionar, aprender y adaptarse continuamente.

Y en ese sentido, este proyecto no es realmente un bot de trading.

Es un experimento sobre cómo tomar mejores decisiones bajo incertidumbre.