Saltar a contenido

Laboratorio Activo

Proyectos de investigación aplicada en incubación, prototipos de alto rendimiento y utilidades de ingeniería bajo desarrollo activo.

Esta sección sirve como mi laboratorio de ingeniería público para la incubación de proyectos activos e Investigación y Desarrollo (Research and Development) práctico en la frontera de los Datos y la IA. Utilizo estos espacios para diseñar, construir y evaluar mediante benchmarks sistemas de software modernos, centrándome en arquitecturas de baja latencia, optimización de costos y principios de diseño seguro.

Cada proyecto representa un espacio de pruebas de ingeniería activo diseñado para explorar tecnologías emergentes de infraestructura de IA, plataformas de datos y runtimes de agentes. Estos proyectos están bajo desarrollo activo y sirven como vehículos prácticos para la experimentación, el análisis de rendimiento (benchmarking), la validación arquitectónica y el aprendizaje continuo.

Disponibilidad de los Proyectos

Los proyectos en el Laboratorio Activo se desarrollan actualmente en repositorios privados mientras se evalúan conceptos arquitectónicos, patrones de implementación y características de rendimiento. Los análisis técnicos, revisiones arquitectónicas y planos de código abierto seleccionados se publican a medida que maduran.

Fundamentos de Ingeniería

Mi investigación aplicada está guiada por un plano arquitectónico unificado para garantizar que la experimentación local se traduzca directamente en despliegues listos para producción.

Principios Arquitectónicos

  • ADR-001 — Open Source First: Todos los sistemas deben seguir siendo desplegables sin dependencias obligatorias en la nube para permitir una rápida experimentación local.
  • ADR-002 — Local First: El desarrollo, la validación, las pruebas de rendimiento y la experimentación ocurren localmente antes de pasar a producción.
  • ADR-003 — Cloud Portable: Las arquitecturas están diseñadas para ser portables entre GCP (Primaria) y AWS (Secundaria).
  • ADR-004 — Evaluación antes del Despliegue: Los flujos de trabajo agénticos deben someterse a pruebas de regresión sistemáticas y análisis de rendimiento antes de ser desplegados.
  • ADR-005 — Human-in-the-Loop: Los sistemas de IA proponen acciones y generan borradores de activos, pero los humanos retienen la autoridad de aprobación final.
  • ADR-006 — Cost-Aware AI: Los sistemas de inferencia optimizan activamente el balance entre costo, latencia, confiabilidad y calidad.

Estrategia Tecnológica

  • Lenguajes Core: Python, Rust
  • Capa de Datos: PostgreSQL, Apache Iceberg, Parquet, Qdrant, KuzuDB (Grafos)
  • Capa de Inferencia: LLMs locales (Ollama, SGLang), APIs de LLMs empresariales
  • Capa Agéntica: LangGraph, Pydantic AI, Model Context Protocol (MCP)
  • Observabilidad: OpenTelemetry, Helicone
  • Infraestructura: Docker Compose, GitHub Actions, Terraform

Laboratorios de Investigación

Inference Fabric (inference-fabric)

  • Estado: Desarrollo Activo | Enfoque: Infraestructura de IA / Inference Engineering
  • Stack Tecnológico: Rust (Axum, Tokio), SGLang, Qdrant, Helicone, LLMs locales, APIs empresariales

Un proyecto experimental de infraestructura de IA que explora el enrutamiento inteligente de inferencia, la caché semántica y la selección de modelos consciente de los costos para cargas de trabajo de LLM. Investiga el enrutamiento local-first para tareas de utilidad simple utilizando modelos locales de pesos abiertos e integra telemetría segura para observar el consumo de tokens.

Capacidades Clave:

  • Umbrales de caché semántica para cargas de trabajo repetitivas de baja latencia.
  • Enrutamiento consciente de costos reforzado con disyuntores y lógica de reintentos.
  • Ejecución de inferencia local-first para tareas de utilidad básica.
  • Monitoreo de alto rendimiento de tokens y latencia a través de OpenTelemetry.

Data Fabric (data-fabric)

  • Estado: Desarrollo Activo | Enfoque: Plataformas de Datos / AI Data Platforms
  • Stack Tecnológico: Apache DataFusion, Polars, Apache Iceberg, PostgreSQL, Qdrant, KuzuDB

Una plataforma analítica de datos local-first que explora analítica vectorizada, formatos de tabla abiertos, recuperación guiada por grafos (Graph RAG) y arquitecturas de datos nativas de IA. Investiga la ingesta rápida en streaming y la sincronización de representaciones vectoriales para habilitar analítica de alto rendimiento sin dependencias de infraestructura en la nube.

Capacidades Clave:

  • Integración de formatos de tabla abiertos con Apache Iceberg y aislamiento de instantáneas.
  • Búsqueda vectorial embebida y recuperación híbrida basada en Graph RAG.
  • Consultas analíticas embebidas en un solo binario a través de DataFusion.
  • Operación local-first con rutas de despliegue portables en la nube.

Agent Fabric (agent-fabric)

  • Estado: Desarrollo Activo | Enfoque: Runtimes de Agentes / Agentic Systems
  • Stack Tecnológico: LangGraph, Pydantic AI, MCP, Redis, FastAPI, Llama Guard 4

Un proyecto de investigación de runtime de agentes omnicanal que explora modelos de eventos canónicos, orquestación con estado, integración del Protocolo de Contexto de Modelo (MCP) y flujos de comunicación corporativa. Prototipa gateways de canales adaptativos y sistemas de memoria con estado dentro de límites seguros de la empresa.

Capacidades Clave:

  • Delegación multi-agente con estado y grafos de flujos de trabajo cíclicos.
  • Adaptadores de gateway omnicanal (Slack, Microsoft Teams).
  • Ejecución segura de herramientas mediante el Protocolo de Contexto de Modelo (MCP).
  • Límite de peticiones en gateway y gestión de expiración (TTL) de estados en Redis.

Engineering Fabric (engineering-fabric)

  • Estado: Completado | Enfoque: Software & Analytics Engineering
  • Stack Tecnológico: Python, LangGraph, Pydantic AI, dbt, GitHub API, Docker

Un sistema autónomo de remediación de software que investiga cómo los flujos de trabajo agénticos pueden diagnosticar, validar y reparar pipelines para equipos de ingeniería. Resuelve fallos en plataformas de dbt y configuraciones de infraestructura, generando pull requests bajo supervisión humana.

Capacidades Clave:

  • Diagnóstico automatizado de fallos utilizando logs de errores y linaje padre.
  • Generación de correcciones guiadas por pruebas y validación local en contenedores.
  • Creación de PRs con informes de impacto en linaje y flujos de aprobación en Slack.

Eval Fabric (eval-fabric)

  • Estado: Completado | Enfoque: Evaluación de IA / AI Evaluation
  • Stack Tecnológico: DeepEval, LangSmith, Phoenix, OpenTelemetry, Pytest

Un entorno de evaluación sistemático diseñado para analizar el rendimiento de prompts, agentes y flujos de trabajo complejos de LLMs. Se enfoca en pruebas de regresión y el seguimiento de alucinaciones para establecer una línea base verificable del rendimiento, latencia y costos antes de su despliegue.

Capacidades Clave:

  • Pruebas de regresión automatizadas para árboles de decisión agénticos.
  • Benchmarking de prompts frente a golden datasets seleccionados.
  • Pipelines de evaluación multi-juez con métricas de consenso y concordancia.

Knowledge Fabric (knowledge-fabric)

  • Estado: Planificado | Enfoque: Context Engineering
  • Stack Tecnológico: LlamaIndex, KuzuDB, Qdrant, Python, herramientas de validación Pytest

Un sistema de memoria semántica de entidad-relación diseñado para gestionar contexto no estructurado mediante Graph RAG híbrido y recorrido con conocimiento de linaje. Extrae relaciones, construye grafos de conocimiento locales y resuelve consultas semánticas para armar contexto estructurado para la memoria a largo plazo del agente.

Capacidades Clave:

  • Recuperación híbrida que combina búsqueda vectorial y recorrido de grafos.
  • Bucles de extracción de entidad-relación estructurados con validación de esquemas.
  • Grafo de memoria con estado y conocimiento de linaje entre sesiones de ejecución.

Governance Fabric (governance-fabric)

  • Estado: Planificado | Enfoque: Gobernanza de IA / AI Governance
  • Stack Tecnológico: LangGraph, Pydantic AI, OPA Rego, Conftest, SQLite

Un prototipo de gobernanza de arquitectura multi-agente construido para automatizar revisiones de diseño, validación de políticas y auditorías estructuradas. Ingesta registros de decisiones arquitectónicas (ADRs) y RFCs, coordinando agentes en búsqueda de consenso para validar el cumplimiento frente a reglas de Política como Código.

Capacidades Clave:

  • Auditoría de cumplimiento mediante políticas Rego de Open Policy Agent (OPA).
  • Revisiones de decisiones arquitectónicas basadas en consenso multi-agente.
  • Archivo de ADRs rechazados con metadatos estructurados para análisis post-mortem.

Platform Fabric (platform-fabric)

  • Estado: Planificado | Enfoque: Operaciones de Runtime & GitOps
  • Stack Tecnológico: Kubernetes, Terraform, Terragrunt, ArgoCD, HashiCorp Vault

Una capa de orquestación de plataforma declarativa que gestiona entornos de Kubernetes multi-nube, sincronización de estado GitOps y secretos IAM de confianza cero. Automatiza el aprovisionamiento de entornos y evita la deriva de configuración.

Capacidades Clave:

  • Aprovisionamiento automatizado de entornos en la nube mediante Terraform modular.
  • Reconciliación ArgoCD GitOps para evitar desviaciones en los clústeres.
  • Obtención de credenciales de runtime de confianza cero asignadas a roles de contenedores.

Fabric Ops (fabric-ops)

  • Estado: Planificado | Enfoque: Observabilidad de Plataforma y FinOps
  • Stack Tecnológico: OpenTelemetry, Prometheus, Mimir, Loki, Tempo, Grafana, Helicone

Un pipeline centralizado de observabilidad SRE que recopila logs, trazas distribuidas y telemetría de costos a lo largo de todos los fabrics activos. Centraliza y procesa el consumo de tokens y cómputo para aplicar políticas FinOps en tiempo real.

Capacidades Clave:

  • Pipelines OpenTelemetry unificados para métricas, logs y trazas distribuidas.
  • Seguimiento de trazas distribuidas en bucles de agentes supervisores.
  • Monitoreo de costos de tokens en tiempo real para alertas FinOps.