Kostenefficiënt real-time monitoring met Azure Functions en Power BI

De uitdaging

Onze klant Buildwise had behoefte aan een oplossing om sensorgegevens near-realtime te monitoren en analyseren. Dit zou hen in staat stellen om sneller in te grijpen bij afwijkingen en trends vroegtijdig te signaleren. De oplossing moest niet alleen betrouwbaar en schaalbaar zijn, maar ook kostenefficiënt zonder afhankelijkheid van dure licenties.

Onze oplossing: Azure Functions en Power BI Streaming Datasets

Bij EpicData hebben we een opzet ontwikkeld waarbij we gebruikmaken van Azure Functions en Azure Event Hubs. Deze architectuur stelt Buildwise in staat om sensordata in near-realtime te verwerken en direct in een Power BI-dashboard te visualiseren. Dit hebben we gerealiseerd door: 

1. Azure Event Hub: Sensoren sturen gegevens naar een Event Hub, die fungeert als de centrale eventverwerker.

2. Azure Functions met ingebouwde Microsoft-bindingen en triggers: We hebben een Azure Function opgezet die wordt geactiveerd zodra nieuwe berichten in de Event Hub aankomen. Dit minimaliseert de complexiteit van de oplossing en verhoogt de betrouwbaarheid.

3. Power BI REST API (PUSH Dataset): De verwerkte data worden via een POST-requests rechtstreeks naar een Power BI Streaming Dataset gestuurd.

4. Dashboards en Visualisatie: Door de streaming dataset te koppelen aan een Power BI-dashboard, kan Buildwise de binnenkomende data direct volgen zonder dat er periodieke dataset-vernieuwingen nodig zijn.

Voordelen van Azure Functions voor Buildwise 

 Azure Functions biedt verschillende voordelen die bijdragen aan de schaalbaarheid en efficiëntie van deze oplossing: 

• Serverless & automatisch schalen: Er hoeven geen servers beheerd te worden, en de oplossing schaalt automatisch op basis van het inkomende datavolume.

• Ondersteuning voor meerdere programmeertalen: Ontwikkelaars kunnen kiezen uit talen zoals C#, Python, JavaScript en PowerShell, afhankelijk van hun voorkeur.

• Lage kosten: Buildwise betaalt enkel voor de rekenkracht die daadwerkelijk wordt gebruikt. Dit resulteert in een oplossing die slechts enkele euro’s per maand kost, vergeleken met honderden euro’s zoals bij andere resources.

• Integratie met Azure Key Vault: Voor een veilige opslag van secrets en API-tokens maken we gebruik van Azure Key Vault, zodat gevoelige informatie nooit in de code of configuratiebestanden hoeft te worden opgeslagen.

• CI/CD-integratie: Met Continuous Integration en Continuous Deployment via Azure DevOps kunnen updates eenvoudig en veilig uitgerold worden zonder verstoring van de bestaande functionaliteit.

Kostenbesparing: Azure Functions vs. Azure Stream Analytics

Een alternatieve benadering zou zijn om Azure Stream Analytics in te zetten voor het verwerken en doorsturen van de sensordata. Hoewel deze oplossing enkele voordelen heeft, zoals een intuïtieve user interface en ingebouwde query-functionaliteit, zou dit gepaard gaan met aanzienlijke extra kosten. Azure Stream Analytics werkt namelijk met een always-on infrastructuur en vaste kosten per streaming unit, waardoor de maandelijkse kosten gemakkelijk in de honderden euro’s kunnen lopen. Door slim gebruik te maken van Azure Functions, dat enkel kosten genereert bij uitvoering, kunnen we dezelfde functionaliteit realiseren voor een fractie van de prijs.

Consistente en herhaalbare infrastructuur met Terraform

Om consistentie tussen omgevingen te garanderen, maken we gebruik van Infrastructure as Code (IaC) met Terraform. Dit zorgt ervoor dat elke omgeving (ontwikkeling, test, productie) identiek is en voorkomt fouten die kunnen ontstaan door handmatige configuratie. Terraform maakt het ook eenvoudig om infrastructuurwijzigingen te beheren en reproduceerbare tests uit te voeren, waardoor de betrouwbaarheid van de oplossing wordt vergroot.

Resultaten en impact voor Buildwise

Dankzij deze oplossing kan Buildwise nu near-realtime de status van hun sensoren monitoren. Dit betekent:

• Snellere detectie van afwijkingen: Problemen kunnen direct gesignaleerd en aangepakt worden.

• Verbeterde operationele efficiëntie: Data-analyse helpt bij het optimaliseren van processen binnen de bouwsector.

• Lagere kosten: De oplossing blijft binnen een minimaal budget zonder in te boeten op functionaliteit of prestaties.

• Schaalbaarheid: Indien het aantal sensoren toeneemt, kan de oplossing eenvoudig meegroeien zonder complexe herconfiguratie.

Conclusie

Door gebruik te maken van Azure Functions, Event Hubs en Power BI REST API hebben we een krachtige en kostenefficiënte streaming-oplossing gecreëerd voor Buildwise. Deze samenwerking toont de expertise van EpicData in het bouwen van schaalbare en innovatieve cloudgebaseerde data-oplossingen.

Wil je meer weten over hoe wij bedrijven helpen met real-time dataverwerking en visualisatie? Neem contact met ons op en ontdek de mogelijkheden voor jouw organisatie!