Hello, I'm Daniel 

Enterprise Data Engineer · Azure & Databricks · AI-Ready Data Platforms

About

Portrait of Daniel

I'm Daniel Conejo Sobrino, a Data Engineer based in Málaga, Spain. I work at Viewnext, part of IBM, assigned to Repsol as client on the ARiA data platform. My work covers building end-to-end data pipelines across the full data lifecycle, from multi-source ingestion into Azure Data Lake Storage to curated analytical layers on Azure Databricks and Synapse. My day-to-day covers Python, PySpark, Azure Data Factory, and the complete delivery cycle from development through production.

Before specialising in data engineering, I worked in software development and cloud infrastructure, building applications with .NET, TypeScript and Next.js. That background gives me a practical grounding in how data systems connect to the applications and services that consume them, and shapes how I approach platform delivery: with attention to reliability, observability, and the engineering discipline that makes data trustworthy at scale.

Outside of client work, I maintain a personal home lab where I experiment with agentic AI systems, testing how autonomous agents interact with data, what governance structures they require, and where current tooling falls short. Those experiments feed into the Research Notes on this site, which are my main channel for working through ideas at the intersection of data engineering and AI governance.

Experiencia

Viewnext · Grupo IBM

Data Engineer

2024 – Presente

Málaga, España · Full Remote

  • Trabajo como Data Engineer en Viewnext, parte del Grupo IBM, asignado a tiempo completo a Repsol como cliente en la plataforma de datos ARiA.
  • Implemento pipelines de datos end-to-end a lo largo de todo el ciclo de vida del dato, desde la extracción e ingestión en origen hasta capas analíticas curadas en Azure Data Lake y consumo downstream de la plataforma.
  • Colaboro con Solution Architects para transformar diseños de arquitectura en implementaciones técnicas robustas y escalables, incluyendo documentación de alcance, validación de viabilidad y planificación de pruebas.
  • Desarrollo y configuro procesos de ingestión batch y streaming sobre fuentes heterogéneas como Oracle, Teradata, SQL Server, APIs, Salesforce, fuentes de ficheros sFTP, Event Hubs y señales industriales de PI System.
  • Construyo flujos de transformación y calidad de datos usando Python, PySpark, SQL, Azure Databricks, Azure Data Factory y componentes de plataforma para lógica de negocio, joins, agregaciones, validación de esquemas y normalización semántica.
  • Doy soporte al modelado de datos en capas Raw, Processed y Analytical, incluyendo datasets curados y modelos en Synapse Dedicated Pools optimizados para consumo analítico.
  • Contribuyo al ciclo SDLC en entornos de Desarrollo, Test, Acceptance y Producción, dando soporte a UAT, preparación para producción y estabilidad post-release.
  • Integro procesos de datos con capacidades de observabilidad, monitorización y orquestación para seguir la salud de las ingestas, dependencias y cumplimiento de SLAs.
  • Trabajo con procesos de gobernanza y seguridad incluyendo catalogación de metadatos, solicitudes de acceso, ACLs, Azure Key Vault y Service Principals.
  • Participo en la entrega Agile usando ServiceNow y Azure DevOps, incluyendo gestión de backlog, pipelines CI/CD, flujos Git y KPIs de entrega.

BeoneBe

Ingeniero de Datos y Cloud

Enero 2024 – Julio 2024

Marbella, España

  • Construcción de un pipeline de inteligencia documental respaldado por Azure para extracción automatizada de metadatos y verificación de autenticidad en grandes corpus de documentos
  • Despliegue de servicios de procesamiento en Docker sobre Linux con terminación TLS/SSL y enrutamiento mediante proxy inverso
  • Diseño de APIs REST que exponen los resultados del pipeline de datos para aplicaciones consumidoras downstream
  • Establecimiento de pipelines CI/CD para pruebas automáticas y despliegue de servicios de procesamiento de datos

Education

Universidad Internacional de La Rioja (UNIR)

Higher Degree in Networked Computer Systems Administration

Sept 2024 - Jul 2026

CPIFP Alan Turing, Parque Tecnológico de Andalucía (PTA)

Professional Certificate in Frontend Environment, Professional Certificate Microsoft Azure

Sept 2023 - Mar 2024

ILERNA FP

Higher Degree in Web Applications Development

Mar 2022 - Jul 2024

Stack

Languages & Query

PythonPySparkSQLTypeScriptScala

Cloud Platform

Azure DatabricksAzure Data FactoryADLS Gen2Azure Synapse

Storage & Sources

Delta LakeAzure SQLOracleSQL Server

Delivery & DevOps

Azure DevOpsServiceNowDockerGit

Governance

Unity CatalogAzure Key VaultAzure PurviewService PrincipalsMicrosoft Entra ID

Software & Web

.NETNext.jsTypeScriptREST APIsPostmanLinuxShell Scripting

Interested in working together?