Saltar a contenido

Laboratorio Activo

Proyectos de investigación aplicada en incubación, prototipos de alto rendimiento y utilidades de ingeniería bajo desarrollo activo.

Esta sección sirve como mi laboratorio de ingeniería público para la incubación de proyectos activos e Investigación y Desarrollo (Research and Development) práctico en la frontera de los Datos y la IA. Utilizo estos espacios para diseñar, construir y evaluar mediante benchmarks sistemas de software modernos, centrándome en arquitecturas de baja latencia, optimización de costos y principios de diseño seguro.

Cada proyecto representa un espacio de pruebas de ingeniería activo diseñado para explorar tecnologías emergentes de infraestructura de IA, plataformas de datos y runtimes de agentes. Estos proyectos están bajo desarrollo activo y sirven como vehículos prácticos para la experimentación, el análisis de rendimiento (benchmarking), la validación arquitectónica y el aprendizaje continuo.

Disponibilidad de los Proyectos

Los proyectos en el Laboratorio Activo se desarrollan actualmente en repositorios privados mientras se evalúan conceptos arquitectónicos, patrones de implementación y características de rendimiento. Los análisis técnicos, revisiones arquitectónicas y planos de código abierto seleccionados se publican a medida que maduran.

Fundamentos de Ingeniería

Mi investigación aplicada está guiada por un plano arquitectónico unificado para garantizar que la experimentación local se traduzca directamente en despliegues listos para producción.

Principios Arquitectónicos

  • ADR-001 — Open Source First: Todos los sistemas deben seguir siendo desplegables sin dependencias obligatorias en la nube para permitir una rápida experimentación local.
  • ADR-002 — Local First: El desarrollo, la validación, las pruebas de rendimiento y la experimentación ocurren localmente antes de pasar a producción.
  • ADR-003 — Cloud Portable: Las arquitecturas están diseñadas para ser portables entre GCP (Primaria) y AWS (Secundaria).
  • ADR-004 — Evaluación antes del Despliegue: Los flujos de trabajo agénticos deben someterse a pruebas de regresión sistemáticas y análisis de rendimiento antes de ser desplegados.
  • ADR-005 — Human-in-the-Loop: Los sistemas de IA proponen acciones y generan borradores de activos, pero los humanos retienen la autoridad de aprobación final.
  • ADR-006 — Cost-Aware AI: Los sistemas de inferencia optimizan activamente el balance entre costo, latencia, confiabilidad y calidad.

Estrategia Tecnológica

  • Lenguajes Core: Python 3.13+, Rust
  • Capa de Datos: PostgreSQL, Apache Iceberg (v3), Parquet, LanceDB, Qdrant, KuzuDB (Grafos)
  • Capa de Inferencia: LLMs locales (Ollama, SGLang, vLLM), APIs de LLMs empresariales
  • Capa Agéntica: LangGraph, Pydantic AI, Model Context Protocol (MCP)
  • Observabilidad: OpenTelemetry, Helicone, Phoenix
  • Infraestructura: Docker Compose, GitHub Actions, Terraform, Kubernetes

Laboratorios de Investigación

Inference Fabric (inference-fabric)

  • Estado: Desarrollo Activo | Enfoque: Infraestructura de IA y Enrutamiento de Inferencia
  • Stack Tecnológico: Rust (Axum, Tokio), SGLang, vLLM, Qdrant, Helicone, OpenTelemetry, LLMs locales, APIs empresariales

Un proyecto experimental de infraestructura de IA de alto rendimiento que explora el enrutamiento desacoplado de inferencia en LLMs, decodificación especulativa, caché semántica y selección de modelos consciente de los costos. Investiga la ejecución local-first de modelos de razonamiento de pesos abiertos combinada con telemetría de latencia por token (TTFT/ITL) y costos en tiempo real.

Capacidades Clave:

  • Umbrales de caché semántica de baja latencia con límites de similitud dinámica.
  • Enrutador de inferencia consciente de costos reforzado con disyuntores, fallbacks y presupuestos de tokens.
  • Ejecución especulativa local-first para tareas de alta frecuencia.
  • Monitoreo sub-milisegundo de latencia (TTFT/ITL) y consumo de tokens a través de OpenTelemetry y Helicone.

Data Fabric (data-fabric)

  • Estado: Desarrollo Activo | Enfoque: Plataformas de Datos de IA y Lakehouses
  • Stack Tecnológico: Apache DataFusion, Polars, Apache Iceberg, LanceDB, PostgreSQL, Qdrant, KuzuDB

Una plataforma analítica de datos local-first que explora motores de ejecución vectorizada, formatos de tabla abiertos (Apache Iceberg v3), almacenamiento vectorial columnar Lance y recuperación híbrida basada en Graph RAG. Sincroniza la ingesta en streaming en tiempo real con representaciones vectoriales para analítica nativa de IA sin dependencias de infraestructura en la nube.

Capacidades Clave:

  • Integración de formatos de tabla abiertos con catálogo REST de Apache Iceberg v3 y aislamiento de instantáneas.
  • Recuperación híbrida que combina búsqueda vectorial embebida en LanceDB y recorrido de grafos en KuzuDB.
  • Ejecución de consultas analíticas embebidas en un solo binario a través de Apache Arrow DataFusion.
  • Operación local-first con rutas de despliegue portables en la nube (BigQuery, Snowflake, Databricks).

Agent Fabric (agent-fabric)

  • Estado: Desarrollo Activo | Enfoque: Runtimes de Agentes y Arquitectura MCP
  • Stack Tecnológico: LangGraph, Pydantic AI, Model Context Protocol (MCP), Redis, FastAPI, Llama Guard 4

Un proyecto de investigación de runtime de agentes omnicanal que explora grafos de supervisión multi-agente con estado, integración nativa de servidores Model Context Protocol (MCP), transmisión de eventos en tiempo real (SSE) y flujos de comunicación corporativa dentro de límites seguros de identidad.

Capacidades Clave:

  • Delegación multi-agente con estado y coreografía de flujos cíclicos con puntos de control human-in-the-loop.
  • Descubrimiento y ejecución segura de herramientas mediante el Protocolo de Contexto de Modelo (MCP).
  • Adaptadores de gateway omnicanal (Slack, Microsoft Teams, WebSockets) con transmisión SSE en tiempo real.
  • Límite de peticiones en FastAPI, filtrado de seguridad con Llama Guard y gestión de expiración (TTL) en Redis.

Engineering Fabric (engineering-fabric)

  • Estado: Completado | Enfoque: Software & Analytics Engineering
  • Stack Tecnológico: Python, LangGraph, Pydantic AI, dbt, GitHub API, Docker

Un sistema autónomo de remediación de software que investiga cómo los flujos de trabajo agénticos pueden diagnosticar, validar y reparar pipelines para equipos de ingeniería. Resuelve fallos en plataformas de dbt y configuraciones de infraestructura, generando pull requests bajo supervisión humana.

Capacidades Clave:

  • Diagnóstico automatizado de fallos utilizando logs de errores y linaje padre.
  • Generación de correcciones guiadas por pruebas y validación local en contenedores.
  • Creación de PRs con informes de impacto en linaje y flujos de aprobación en Slack.

Eval Fabric (eval-fabric)

  • Estado: Completado | Enfoque: Evaluación de IA y Benchmarking
  • Stack Tecnológico: DeepEval, Braintrust, Phoenix, LangSmith, OpenTelemetry, Pytest

Un entorno de evaluación sistemático diseñado para analizar el rendimiento de prompts, agentes y flujos de trabajo complejos de LLMs. Se enfoca en pruebas de regresión, seguimiento de alucinaciones y generación de conjuntos de datos sintéticos para establecer una línea base verificable de rendimiento, latencia y costos antes del despliegue.

Capacidades Clave:

  • Pruebas de regresión automatizadas para árboles de decisión agénticos.
  • Benchmarking de prompts frente a golden datasets y generación sintética de pruebas.
  • Pipelines de evaluación multi-juez con métricas de consenso y ranking pareado (pairwise ranking).

Knowledge Fabric (knowledge-fabric)

  • Estado: Planificado | Enfoque: Context Engineering y Graph RAG
  • Stack Tecnológico: LlamaIndex, KuzuDB, Qdrant, LanceDB, Python, herramientas de validación Pytest

Un sistema de memoria semántica de entidad-relación diseñado para gestionar contexto no estructurado mediante Graph RAG híbrido y recorrido con conocimiento de linaje. Extrae relaciones, construye grafos de conocimiento locales y resuelve consultas semánticas para armar contexto estructurado para la memoria a largo plazo del agente.

Capacidades Clave:

  • Recuperación híbrida que combina búsqueda vectorial y recorrido de grafos.
  • Bucles de extracción de entidad-relación estructurados con validación de esquemas.
  • Grafo de memoria con estado y conocimiento de linaje entre sesiones de ejecución.

Governance Fabric (governance-fabric)

  • Estado: Planificado | Enfoque: Gobernanza de IA / AI Governance
  • Stack Tecnológico: LangGraph, Pydantic AI, OPA Rego, Conftest, SQLite

Un prototipo de gobernanza de arquitectura multi-agente construido para automatizar revisiones de diseño, validación de políticas y auditorías estructuradas. Ingesta registros de decisiones arquitectónicas (ADRs) y RFCs, coordinando agentes en búsqueda de consenso para validar el cumplimiento frente a reglas de Política como Código.

Capacidades Clave:

  • Auditoría de cumplimiento mediante políticas Rego de Open Policy Agent (OPA).
  • Revisiones de decisiones arquitectónicas basadas en consenso multi-agente.
  • Archivo de ADRs rechazados con metadatos estructurados para análisis post-mortem.

Platform Fabric (platform-fabric)

  • Estado: Planificado | Enfoque: Operaciones de Runtime & GitOps
  • Stack Tecnológico: Kubernetes, Terraform, Terragrunt, ArgoCD, HashiCorp Vault

Una capa de orquestación de plataforma declarativa que gestiona entornos de Kubernetes multi-nube, sincronización de estado GitOps y secretos IAM de confianza cero. Automatiza el aprovisionamiento de entornos y evita la deriva de configuración.

Capacidades Clave:

  • Aprovisionamiento automatizado de entornos en la nube mediante Terraform modular.
  • Reconciliación ArgoCD GitOps para evitar desviaciones en los clústeres.
  • Obtención de credenciales de runtime de confianza cero asignadas a roles de contenedores.

Fabric Ops (fabric-ops)

  • Estado: Planificado | Enfoque: Observabilidad de Plataforma y FinOps
  • Stack Tecnológico: OpenTelemetry, Prometheus, Mimir, Loki, Tempo, Grafana, Helicone

Un pipeline centralizado de observabilidad SRE que recopila logs, trazas distribuidas y telemetría de costos a lo largo de todos los fabrics activos. Centraliza y procesa el consumo de tokens y cómputo para aplicar políticas FinOps en tiempo real.

Capacidades Clave:

  • Pipelines OpenTelemetry unificados para métricas, logs y trazas distribuidas.
  • Seguimiento de trazas distribuidas en bucles de agentes supervisores.
  • Monitoreo de costos de tokens en tiempo real para alertas FinOps.