Prowadź swój projekt Hurtowni Danych jak 18-wieczny statek handlowy

Wyobraź sobie, że kupujesz statek handlowy w XVIII wieku. Prawdopodobnie szukałbyś statku z konkretnym przeznaczeniem, mając już upatrzone szlaki handlowe, dostarczając ładunek, który twoi klienci chcą kupić. Następnie złożyłbyś zamówienie w stoczni i zainwestował swoje pieniądze, aby uzyskać oczekiwane rezultaty. Istnieje oczywiście wiele stoczni, które mogą zrealizować to zamówienie. Niektóre specjalizują się w szybkich, zwinnych statkach, inne wolą budować wolniejsze, ale solidne jednostki, które mogą wytrzymać trudne warunki.

Gdy statek będzie już gotowy, potrzebny będzie doświadczony kapitan, najlepiej zaznajomiony z planowaną trasą i świadomy zagrożeń, które mogą pojawić się na horyzoncie. Powinien cieszyć się szacunkiem członków załogi, być w stanie podnieść ich morale w potrzebie i mieć uprawnienia do podejmowania wszelkich decyzji. Kapitan powinien wiedzieć, jakie ryzyko podjąć, czego unikać i jak dotrzeć do celu na czas.

Następnie kapitan dobiera swoją załogę do wykonania zadania, wyznacza swojego pierwszego oficera, bosmana, innych niezbędnych specjalistów oraz odpowiednią liczbę zdolnych marynarzy, zwykłych marynarzy i praktykantów do wykonania pracy na statku. Gdy to zostanie zrobione, kapitan i jego pierwszy oficer uzgodnią, jak doprowadzić statek do celu, wybierając najlepszą możliwą trasę (jaką mogą wymyślić). Gromadzą zapasy prowiantu i wyruszają z załogą do miejsca docelowego.

Jest to oczywiście bardzo uproszczony obraz tego, co by się wydarzyło, nie uwzględniający na przykład piratów lub polityki (w zależności od tego, co uważasz za większe ryzyko).

Teraz wyobraź sobie, że zamiast statku rozpoczynasz projekt hurtowni danych. Istnieje wiele podobieństw – dane (bezcenny ładunek) muszą zostać przetransportowane (przewiezione statkiem) z systemów źródłowych (dostawców) do docelowych systemów Business Intelligence lub Artificial Intelligence (klientów / miejsc docelowych). Hurtownię danych (statek) należy zbudować, wybierając spośród różnych dostawców Hurtowni Danych (stoczni) w zależności od potrzeb.

Istnieją jednak pewne typowe pułapki, w których nasz metaforyczny „statek” wykonuje niespodziewany zły manewr.

Budowanie statku bez określenia jego celu

Obserwowałem wiele projektów, których jedynym celem było zbudowanie hurtowni danych (lub data lake) i umieszczenie w niej wszystkich dostępnych danych. Jak wykorzystać te dane, miało zostać ustalone później, po ukończeniu Hurtowni.

A jednak hurtownia bez celu jest bezwartościowa, podobnie jak statek kupiony bez celu. Żadna firma nie zamówiłaby statku, który stałby bezczynnie w porcie, a żaden rozsądny kapitan nie uznałby za cel podróży stwierdzenia „później to ustalimy”.

Tylko poprzez jasne określenie „miejsca docelowego” projekt Hurtowni Danych może odnieść sukces. Niezależnie od tego, czy chodzi o raportowanie analityczne, analitykę w czasie rzeczywistym, generatywną sztuczną inteligencję, algorytmy uczenia maszynowego – cel kształtuje architekturę podobnie jak trasa i ładunek kształtują projekt statku.

Nie oznacza to, że pierwotny cel nigdy się nie zmieni, bardzo możliwe jest, że sytuacja rynkowa ulegnie zmianie i albo ładunek będzie inny, albo jego przeznaczenie. Aby temu zaradzić i rozwijać się, czasami wracasz do stoczni i wprowadzasz poprawki lub zamawiasz inny statek z myślą o innych celach. Doprowadzi to do stworzenia własnej floty handlowej; w świecie Data Warehouse byłoby to rozszerzenie z pojedynczego magazynu danych do siatki danych.

Siatka danych (Data Mesh) to podejście do budowania zdecentralizowanej architektury danych poprzez wykorzystanie zorientowanego na domenę, samoobsługowego projektu. Mówiąc po polsku oznacza to budowanie architektury danych, która ma struktury magazynowania danych dla różnych domen (np. sprzedaży, marketingu, finansów), zwykle wykorzystywanych również do różnych potrzeb (np. raportowania, sztucznej inteligencji). Niektóre platformy, takie jak Snowflake, są w tym szczególnie dobre, utrzymując oddzielną pamięć masową (baza danych) i część obliczeniową (wirtualna hurtownia danych), aby dopasowywać się do różnych potrzeb.

W ten sposób flota handlowa zachowuje elastyczność i jest opłacalna, ponieważ statki są zaprojektowane tak, aby pasowały do swoich celów, bez nadmiernych wydatków na niepotrzebne funkcje przy jednoczesnym zachowaniu pewnego stopnia elastyczności. Jeśli chcesz dowiedzieć się więcej o różnych podejściach do hurtowni danych, odwiedź stronę https://www.phronesispath.com/pl/hurtownia-danych/.

Zatrudnianie załogi składającej się wyłącznie z doświadczonych marynarzy

Wyobraźmy sobie statek, na którym jest kapitan, pierwszy oficer i tuzin marynarzy-weteranów, ale nie ma żadnych mniej doświadczonych. Statek prawdopodobnie dotarłby do celu, ale czy byłby to najbardziej efektywny sposób? Załoga weteranów wykona swoją pracę, ale będzie się też nudzić, a nawet złościć, że muszą na przykład szorować podłogę, ponieważ nie ma nikogo innego, kto mógłby to zrobić.

Nie wspominając już o tym, że koszty ich wynagrodzeń znacznie obniżyłyby rentowność statku. Ostatecznie, pomimo dobrego wynagrodzenia, weterani ci znaleźliby bardziej „odpowiednie” stanowiska na innym statku (a także w innej firmie handlowej).

Z perspektywy projektów danych jest to równoznaczne z zatrudnianiem tylko inżynierów danych na poziomie seniora lub architekta. Jeśli zmusisz architekta do pisania najzwyklejszych zapytań SQL, usłyszysz ich przekleństwa nawet z kwatery kapitana. Nie wspominając już o tym, jak wielką stratą pieniędzy jest zmuszanie tego guru danych do wykonywania zbyt łatwych zadań. To właśnie dlatego na statkach znajdowali się różni członkowie załogi, którzy uzupełniali „starszy” personel – zwykli marynarze, praktykanci i tak dalej.

Dokładnie tak wygląda zdrowy zespół – jest kierownik projektu lub właściciel produktu (kapitan), architekt lub główny inżynier (pierwszy oficer), starsi inżynierowie (zdolni marynarze) i grupa inżynierów / młodszych inżynierów (zwykli marynarze, praktykanci). W ten sposób zespół pracuje wydajnie, a doświadczeni pracownicy mogą skupić się na wyzwaniach i innowacjach (w przeciwieństwie do szorowania podłogi).

Ale firmy unikają takiego układu, obawiając się, że starsi pracownicy będą zajęci uczeniem i poprawianiem błędów mniej doświadczonych, co prowadzi do utraty czasu i wysiłku. W tym miejscu pojawiają się narzędzia do automatyzacji hurtowni danych (nie ma odpowiednika w XVIII-wiecznym świecie morskim, ale z pewnością doceniliby taki!).

Narzędzia takie jak Coalesce pozwalają na tworzenie modeli z predefiniowanych szablonów w graficznym interfejsie użytkownika. Szablony te są tworzone przez specjalistów ze świata inżynierii i mogą tworzyć modele w Data Vault 2.0, Kimball i innych technikach modelowania, a także łączyć się z silnikami AI (takimi jak Snowflake Cortex).

Korzystanie z tego narzędzia jest znacznie łatwiejsze dla inżynierów, modele są znacznie mniej podatne na błędy (ze względu na wykorzystanie szablonów), dokumentacja i wykresy pochodzenia danych dla zespołu są generowane automatycznie, a najlepsze praktyki są zawsze stosowane bez konieczności ciągłego przypominania. Starsi inżynierowie mogą modyfikować te szablony (jeśli chcą) mogą też skupić się na zadaniach odpowiednich do ich doświadczenia (co było celem ich zatrudnienia od początku).

Ponadto można zatrudnić bardziej zorientowanych na biznes członków zespołu IT, przedkładając wiedzę biznesową nad wiedzę techniczną (w granicach rozsądku). Jeśli chcesz dowiedzieć się więcej o Coalesce, odwiedź nas na https://www.phronesispath.com/pl/coalesce/.

Nie ulegaj też pokusie tworzenia załogi inżynierów wyłącznie z niedoświadczonych osób. Będziesz miał szczęście, jeśli twój statek opuści port, ale wtedy na pewno zatonie na otwartym morzu.

Wielu kapitanów obejmuje dowodzenie nad jednym statkiem

Czy możesz sobie wyobrazić statek z wieloma kapitanami o równej sile głosu? Było to niewyobrażalne dla załogi statku (i nadal jest). Na otwartym morzu słowo kapitana było równe słowu samego Boga. Oczywiście nawet kapitanowie mieli swoich członków załogi z którymi dyskutowali rozwiązania w postaci pierwszego, drugiego i trzeciego oficera (czasem więcej). Ale decyzja kapitana była ostateczna.

W dzisiejszych czasach firmy wpadają w pułapkę demokratyzacji, myląc zwinne techniki z poszukiwaniem kompromisu za wszelką cenę. W rzeczywistości dyskusja jest zawsze mile widziana, ale ostatecznie jedna osoba (kapitan) musi podjąć decyzję i jest ona wiążąca. Konsensus jest rzadko osiągany w prawdziwym świecie, a dążenie do niego wprowadzi statek na niepewne wody.

Powinno być jasne, że każdy głos w dyskusji będzie wysłuchany, ale to Kierownik Projektu podejmuje ostateczną decyzję wpływającą na projekt Hurtowni Danych. Oczywiście trzeba mieć kompetentnego żeglarza na fotelu kapitana – ze słabym kapitanem nie ma znaczenia jak dobra jest załoga.

Czasami problem jest inny – jest jeden „oficjalny” kapitan, ale są też osoby na wysokich stanowiskach w firmie handlowej, które bezpośrednio wpływają na załogę z własną agendą lub mają moc unieważnienia postanowień kapitana. Jest to odpowiednik „potężnego” interesariusza zstępującego z niebios, aby narzucić swoje przykazania zespołowi wdrażającemu hurtownię danych.

Można sobie wyobrazić, że byłoby to nie do pomyślenia na statku na otwartym morzu. Kierownik projektu (kapitan) jest w najlepszej pozycji do podejmowania decyzji, ponieważ jest bardzo blisko projektu hurtowni (statku) i ma na pokładzie swoich zaufanych doradców (swoich oficerów). Nikt z odległego lądu nie podejmie lepszej decyzji, zwłaszcza jeśli nigdy nie dowodził statkiem. Ktokolwiek inny wydający rozkazy spowoduje tylko zamieszanie, a morale zespołu ucierpi.

Jeśli wybierzesz Lidera Projektu, Kierownika Projektu lub Właściciela Produktu dla projektu Hurtowni Danych, musisz upoważnić go do bycia „prawdziwym” kapitanem, któremu zaufasz. Ta osoba musi mieć uprawnienia (i silny mandat) do podjęcia ostatecznej decyzji. Jeśli chcesz dowiedzieć się więcej, jak stworzyć środowisko, w którym jest to możliwe, odwiedź nas na https://www.phronesispath.com/pl/strategia-danych/.

Podsumowanie

Rozważając rozpoczęcie projektu hurtowni danych, nie wystarczą pieniądze i technologia. Potrzebne są także sprawne procesy, zespół, który istnieje lub musisz go stworzyć, oraz odpowiednia kultura organizacji wzmacniająca pozycję kapitanów. Należy pamiętać, że hurtownia danych jest środkiem do celu, a nie celem samym w sobie (podobnie jak statki nie mają sensu bez miejsc docelowych). Skontaktuj się z nami, jeśli chcesz, abyśmy pomogli Ci zaprojektować idealny statek :).

Phronesis Path życzy pomyślnych wiatrów i spokojnych wód!

www.phronesispath.com