Cum sa creezi o platforma de procesare a datelor in timp real? Viorel Bibiloiu, Big Data Architect la eSolutions, a prezentat solutia noastra (Kafka Streams, Kubernetes, si Cassandra) a unui sistem de gestionare a stocurilor in timp real pentru un retailer important din Romania, pe scena Big Data Architectures la editia din acest an a conferintei Big Data Week Bucuresti 2022.
Care sunt principalele probleme ale comerciantilor din punct de vedere business? A avea prea mult sau prea putin stoc, precum si a reactiona prea lent la schimbarile din piata sunt problemele din industria de retail pe care Viorel le-a mentionat in cadrul discursului sau. Pentru a obtine o vizibilitate aproape in timp real a fluxurilor din inventar si de vanzari, trebuie sa folosim pipeline-uri de streaming. Procesarea distribuita a datelor se face cu Apache Spark, in timp ce evenimentele in timp real sunt procesate cu Apache Kafka (Kafka Streams).
Aceste pipeline-uri de streaming nu pot exista fara o platforma de big data pe care sa ruleze. Platforma implementata de eSolutions pentru acest client creste performanta si scalabilitatea proceselor, are disponibilitate ridicata pentru a efectua activitati zilnice de rutina si faciliteaza accesul la date pentru intreg ecosistemul de aplicatii si sisteme IT. Platforma sprijina, de asemenea, automatizarea ciclului de viata al produselor prin intermediul tehnologiilor integrate si mareste viteza cu care pot fi realizate modificari, contribuind la eficientizarea operatiunilor prin scaderea timpilor de procesare a datelor.
Urmarind prezentarea veti vedea cele mai comune use case-uri pentru procesarea datelor, precum:
In cadrul discursului sau la conferinta BDW Bucuresti, Viorel a demonstrat ca un use case real este de fapt o combinatie a acestora pentru procesarea evenimentelor si datelor in timp real in discursul sau tehnic, oferind la final o comparatie intre Apache Spark Structured Streaming si Kafka Streams.
Pentru a afla mai multe, urmareste video-ul integral aici:
EN
RO
