Hello, I'm Daniel

Data Engineer · Azure & Databricks · AI-Ready Data Platforms

In Research Notes I write about enterprise AI platforms, agentic systems, and data architecture — and Lab Notes documents my personal multi-agent systems lab.

  • Azure
  • Databricks
  • Spark
  • Data Architecture
  • RAG
  • Agentic Systems
  • Agent Harnesses
Illustration of Daniel waving hello

Experiencia

Viewnext · Grupo IBM

Data Engineer

2025 – Presente

Málaga, España · Full Remote

  • Asignado a tiempo completo a la plataforma de datos ARiA de Repsol, construyendo pipelines end-to-end desde la ingestión en origen hasta capas analíticas curadas en Azure Data Lake, con Unity Catalog como capa de gobernanza y descubrimiento de datos.
  • Desarrollo ingestas batch y streaming sobre fuentes heterogéneas: Oracle, Teradata, SQL Server, APIs, Salesforce, sFTP, Event Hubs y señales industriales de PI System.
  • Construyo flujos de transformación y calidad de datos con Python, PySpark, SQL, Azure Databricks y Azure Data Factory; doy soporte al modelado en capas Bronze, Silver y Gold, incluyendo modelos en Synapse Dedicated Pools.
  • Colaboro con Solution Architects para convertir diseños de arquitectura en implementaciones robustas y escalables, entregando en Desarrollo, Test, Acceptance y Producción, incluyendo UAT y estabilidad post-release.
  • Integro los pipelines con observabilidad, monitorización y orquestación para seguir la salud de las ingestas, dependencias y cumplimiento de SLAs.
  • Aplico prácticas de gobernanza y seguridad (catalogación de metadatos, ACLs, Azure Key Vault, Service Principals) dentro de la entrega Agile con Azure DevOps y ServiceNow, incluyendo CI/CD y flujos Git.

BeoneBe

Ingeniero de Datos y Cloud

Enero 2024 – Julio 2024

Marbella, España

  • Construcción de un pipeline de inteligencia documental sobre Azure para extracción automatizada de metadatos y verificación de autenticidad a escala
  • Despliegue de servicios de procesamiento con Docker sobre Linux, con terminación TLS/SSL y proxy inverso
  • Diseño de APIs REST que exponen los resultados del pipeline a aplicaciones downstream, con CI/CD para pruebas y despliegue automatizados

Formación y credenciales

Tech Stack

The tools I work with daily — from ingestion to analytics.

Python
PySpark
SQL
Azure
Databricks
Azure DevOps
Docker
Git
Linux
Bash
TypeScript
Scala
C#
.NET
Next.js
Postman

Interested in working together?