Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych

Przedmowa
Wstęp
Prolog. Wyobraź sobie siatkę danych

Część I. Czym jest siatka danych?
1. Siatka danych w pigułce
Rezultaty
Transformacje
Zasady
Zasada własności dziedziny
Zasada danych jako produktu
Zasada samoobsługowej platformy danych
Zasada sfederowanego zarządzania obliczeniowego
Wzajemne oddziaływanie zasad
Spojrzenie na model siatki danych
Dane
Dane operacyjne
Dane analityczne
Pochodzenie
2. Zasada własności dziedziny
Krótkie wprowadzenie do projektowania dziedzinowego
Zastosowanie projektowania strategicznego DDD do danych
Archetypy danych dziedzinowych
Dane dziedzinowe dostosowane do źródła
Zagregowane dane dziedzinowe
Dane dziedzinowe dostosowane do konsumenta
Przechodzenie w kierunku własności dziedzinowej
Przekazuj własność danych upstreamowo
Definiuj wiele połączonych modeli
Polisemie
Wykorzystaj dane najbardziej odpowiedniej dziedziny: nie oczekuj jednego źródła prawdy
Ukrywaj potoki danych jako wewnętrzną implementację dziedzin
Podsumowanie
3. Zasada danych jako produktu
Zastosowanie do danych myślenia w kategoriach produktu
Podstawowe atrybuty użyteczności produktu danych
Przechodzenie do zasady danych jako produktu
Uwzględnij własność produktu danych w dziedzinach
Przeformułuj nomenklaturę, aby zainicjować zmiany
Traktuj dane jako produkt, a nie zwykły zasób
Kształtuj kulturę danych opartą na zasadzie "ufaj, ale sprawdzaj"
Łącz dane i obliczaj je jako pojedynczą jednostkę logiczną
Podsumowanie
4. Zasada samoobsługowej platformy danych
Porównanie platformy siatki danych z innymi rozwiązaniami
Dostosowanie do autonomicznych zespołów opartych na dziedzinach
Zarządzanie autonomicznymi i interoperacyjnymi produktami danych
Zintegrowana platforma dla funkcjonalności operacyjnych i analitycznych
Dostosowanie do generalistów
Faworyzowanie technologii zdecentralizowanych
Niezależność dziedzinowa
Myślenie w kategoriach platformy siatki danych
Umożliwienie autonomicznym zespołom uzyskiwania wartości z danych
Wymiana wartości za pomocą autonomicznych i interoperacyjnych produktów danych
Przyspieszenie wymiany wartości przez zmniejszenie obciążenia poznawczego
Poziome skalowanie udostępniania danych
Wspieranie kultury wbudowanych innowacji
Przechodzenie na samoobsługową platformę siatki danych
Najpierw zaprojektuj interfejsy API i protokoły
Przygotuj się na dostosowanie do generalistów
Przeprowadź inwentaryzację i dokonaj uproszczenia
Utwórz wysokopoziomowe interfejsy API do zarządzania produktami danych
Buduj doświadczenia, a nie mechanizmy
Zacznij od najprostszych fundamentów, a potem zbieraj plony, aby ewoluować
Podsumowanie
5. Zasada sfederowanego zarządzania obliczeniowego
Zastosowanie myślenia systemowego do zarządzania siatką danych
Utrzymywanie dynamicznej równowagi między autonomią dziedzinową a globalną interoperacyjnością
Przyjęcie topologii dynamicznej jako stanu domyślnego
Wykorzystanie automatyzacji i architektury rozproszonej
Zastosowanie federacji do modelu zarządzania
Zespół sfederowany
Wartości przewodnie
Reguły
Zachęty
Zastosowanie obliczeń do modelu zarządzania
Standardy jako kod
Reguły jako kod
Zautomatyzowane testy
Zautomatyzowane monitorowanie
Przechodzenie na sfederowane zarządzanie obliczeniowe
Delegowanie odpowiedzialności do dziedzin
Osadzanie wykonywania reguł w poszczególnych produktach danych
Automatyzacja zapewniania możliwości oraz monitorowania zamiast interweniowania
Modelowanie luk
Pomiar efektu sieciowego
Przyjęcie zmian w miejsce stałości
Podsumowanie

Część II. Dlaczego siatka danych?
6. Punkt przegięcia
Wielkie oczekiwania wobec danych
Wielki podział danych
Skala - bliskie spotkania z nowym gatunkiem
Nie tylko porządek
Zbliżanie się do punktu zwrotu
Podsumowanie
7. Po punkcie przegięcia
Płynne reagowanie na zmiany w złożonym biznesie
Wzajemne dostosowanie biznesu, technologii i danych analitycznych
Wypełnienie luki między danymi analitycznymi i operacyjnymi
Lokalizowanie zmian danych w dziedzinach biznesowych
Zmniejszenie przypadkowej złożoności potoków i kopiowania danych
Utrzymanie zwinności w obliczu wzrostu
Usunięcie scentralizowanych i monolitycznych wąskich gardeł
Zmniejszenie koordynacji potoków danych
Zmniejszenie koordynacji zarządzania danymi
Zapewnienie autonomii
Zwiększenie współczynnika wartości z danych w stosunku do inwestycji
Tworzenie warstwy abstrakcji dla złożoności technicznej za pomocą platformy danych
Wszechobecne stosowanie myślenia w kategoriach produktowych
Przekraczanie granic
Podsumowanie
8. Przed punktem przegięcia
Ewolucja architektur danych analitycznych
Pierwsza generacja - architektura hurtowni danych
Druga generacja - architektura jeziora danych
Trzecia generacja - multimodalna architektura chmury
Charakterystyka architektury danych analitycznych
Monolityzm
Scentralizowana własność danych
Wykorzystanie technologii

Część III. Jak zaprojektować architekturę siatki danych?
9. Architektura logiczna
Dziedzinowe interfejsy udostępniania danych analitycznych
Projekt interfejsu operacyjnego
Projekt interfejsu danych analitycznych
Międzydziedzinowe zależności danych analitycznych
Produkt danych jako kwant architektury
Komponenty strukturalne produktu danych
Interakcje współdzielenia danych przez produkty danych
Interfejsy API wykrywania i obserwowalności danych
Wielopłaszczyznowa platforma danych
Płaszczyzna platformy
(Narzędziowa) płaszczyzna infrastruktury danych
Płaszczyzna doświadczenia produktu danych
Płaszczyzna doświadczenia siatki
Przykład
Osadzone reguły obliczeniowe
Przyczepa produktu danych
Kontener obliczeniowy produktu danych
Port sterowania
Podsumowanie
10. Architektura wielopłaszczyznowej platformy danych
Projekt platformy oparty na podróżach użytkowników
Podróż twórcy produktu danych
Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
Budowanie, testowanie, wdrażanie i uruchamianie
Utrzymywanie, ewoluowanie i wycofywanie
Podróż konsumenta produktu danych
Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
Budowanie, testowanie, wdrażanie i uruchamianie
Monitorowanie, ewoluowanie i wycofywanie
Podsumowanie

Część IV. Jak zaprojektować architekturę produktu danych?
11. Projektowanie produktu danych według afordancji
Afordancje produktu danych
Charakterystyka architektury produktu danych
Projektowanie inspirowane prostotą złożonych systemów adaptacyjnych
Zachowanie wynikające z prostych reguł lokalnych
Brak centralnej orkiestracji
Podsumowanie
12. Projektowanie konsumowania, przekształcania i serwowania danych
Serwowanie danych
Potrzeby użytkowników danych
Właściwości projektowania serwowania danych
Projektowanie serwowania danych
Konsumowanie danych
Archetypy źródeł danych
Lokalizacja konsumpcji danych
Projektowanie konsumowania danych
Przekształcanie danych
Przekształcanie programowe i nieprogramowe
Transformacja oparta na przepływie danych
Uczenie maszynowe jako transformacja
Transformacja niestacjonarna
Projekt transformacji
Podsumowanie
13. Projektowanie wykrywania, rozumienia i komponowania danych
Wykrywanie, rozumienie, obdarzanie zaufaniem i eksplorowanie
Rozpocznij wykrywanie od samorejestracji
Wykrywanie globalnego identyfikatora URI
Zrozumienie modeli semantycznych i składniowych
Ustanowienie zaufania za pomocą gwarancji danych
Eksplorowanie kształtu danych
Nauka na podstawie dokumentacji
Wykrywanie, eksplorowanie i rozumienie projektu
Komponowanie danych
Właściwości projektu konsumowania danych
Tradycyjne podejście do kompozycyjności danych
Projekt komponowania danych
Podsumowanie
14. Projektowanie organizowania i obserwowania danych oraz zarządzania nimi
Zarządzanie cyklem życia
Projektowanie zarządzania cyklem życia
Komponenty manifestu produktu danych
Zarządzanie danymi
Projektowanie zarządzania danymi
Normalizacja reguł
Integracja danych i reguł
Linkowanie reguł
Obserwowanie, debugowanie i audytowanie
Projektowanie obserwowalności
Podsumowanie

Część V. Od czego zacząć?
15. Strategia i wykonywanie
Czy należy przyjąć siatkę danych już dziś?
Siatka danych jako element strategii danych
Framework wykonywania siatki danych
Wykonywanie oparte na biznesie
Wykonywanie kompleksowe i iteracyjne
Wykonywanie ewolucyjne
Podsumowanie
16. Organizacja i kultura
Zmiana
Kultura
Wartości
Nagroda
Motywacje wewnętrzne
Motywacje zewnętrzne
Struktura
Założenia struktury organizacyjnej
Wykrywanie granic produktów danych
Ludzie
Role
Rozwój zestawów umiejętności
Proces
Zmiany kluczowych procesów
Podsumowanie

Zhamak Dehghani jest autorką paradygmatu siatki danych. Pełni funkcję dyrektora do spraw technologii w firmie ThoughtWorks, gdzie zajmuje się systemami rozproszonymi i architekturą danych. Jest członkinią wielu organów doradczych do spraw technologii, a także zwolenniczką decentralizacji w technologii i w społeczeństwie.