V neustále sa vyvíjajúcom digitálnom prostredí potrebujú obsahové platformy ako Momspresso robustnú dátovú infraštruktúru na poskytovanie personalizovaných zážitkov svojim používateľom. Dnes sa s vami rád podelím o pohľad na škálovateľné dátové potrubie, ktoré sme vytvorili pre Momspresso a ktoré poháňa ich analytické systémy a systémy odporúčaní.
Výzva#
Momspresso potrebovalo systém, ktorý by dokázal:
- Zachytiť používateľské udalosti v reálnom čase
- Efektívne spracovávať a ukladať veľké objemy dát
- Umožniť rýchlu analýzu a vizualizáciu správania používateľov
- Podporovať odporúčací systém pre personalizované doručovanie obsahu
Naše riešenie: Komplexné dátové potrubie#
Navrhli sme viackomponentové dátové potrubie, ktoré rieši tieto potreby:
1. Python Events SDK#
Vyvinuli sme jednoduchú Python triedu, ktorú je možné integrovať do celého kódu Momspressa. Toto SDK umožňuje systému posielať udalosti bez písania základného kódu, čo uľahčuje vývojárom sledovanie interakcií používateľov.
2. Webová služba udalostí#
Táto služba prijíma udalosti z SDK a po menšej validácii ich posiela do Kafky. Slúži ako vstupný bod pre všetky údaje o interakcii používateľov.
3. Apache Kafka#
Kafku sme si vybrali ako náš systém pre sprostredkovanie správ a pub-sub kvôli jej vysokej priepustnosti a dizajnu odolnému voči chybám. Momentálne beží na jednom stroji a je pripravená na škálovanie s rastom Momspressa.
4. Systém zachytávania dát#
Tento komponent počúva všetky udalosti z Kafky a vkladá ich do PostgreSQL databázy. Využitím JSON schopností Postgresu sme vytvorili flexibilný a dopytovateľný dataset.
5. PostgreSQL úložisko udalostí#
Naše primárne úložisko dát pre všetky udalosti. Implementovali sme mesačný archivačný systém na efektívnu správu úložiska.
6. Grafana pre analýzu v reálnom čase#
Pripojená k nášmu úložisku udalostí, Grafana umožňuje Momspressu graficky znázorňovať dotazy v reálnom čase, sledovať využitie funkcií, monitorovať výkonnosť konverzií a detekovať anomálie.
7. Systém zobrazenia dát#
Tento komponent spúšťa sériu heuristík a modelov na definovanie atribútov používateľov, aktualizujúc samostatnú databázu zobrazení používateľov.
8. PostgreSQL databáza zobrazenia dát#
Táto databáza ukladá spracované zobrazenia používateľov, umožňujúc rýchly prístup k odvodeným údajom o používateľoch.
9. Metabase pre dashboardy#
Pomocou databázy zobrazenia dát umožňuje Metabase Momspressu vytvárať vlastné dashboardy a reporty pomocou SQL dotazov.
10. Webová služba jedinečného odtlačku používateľa#
Šikovná služba 1x1 pixelu, ktorá priraďuje jedinečný podpis v cookie pre každého používateľa, umožňujúc nám sledovať používateľov naprieč reláciami.
Sila tohto potrubia#
Toto dátové potrubie posilňuje Momspresso viacerými spôsobmi:
- Prehľady v reálnom čase: Momspresso teraz môže sledovať správanie používateľov a výkonnosť obsahu v reálnom čase.
- Personalizácia: Štruktúrované údaje o používateľoch umožňujú sofistikované algoritmy odporúčania obsahu.
- Flexibilná analýza: S dátami uloženými v dopytovateľných formátoch môže Momspresso ľahko vykonávať ad-hoc analýzy.
- Škálovateľnosť: Modulárny dizajn umožňuje škálovanie alebo nahradenie jednotlivých komponentov podľa potreby.
Pohľad do budúcnosti#
S tým, ako Momspresso naďalej rastie, bude toto dátové potrubie hrať kľúčovú úlohu v porozumení správania používateľov a poskytovaní personalizovaných zážitkov. Sme nadšení, keď vidíme, ako Momspresso využije túto infraštruktúru na vylepšenie svojej platformy a efektívnejšie zapojenie svojej komunity.
Zostaňte naladení na náš ďalší príspevok, kde sa ponoríme do odporúčacieho systému postaveného na tomto dátovom potrubí!