Stručná odpověď: Umělá inteligence zcela nenahradí datové inženýry; automatizuje opakující se práci, jako je návrh SQL kódu, vytváření profilů, testování a dokumentace. Pokud je vaše role převážně práce s nízkým podílem odpovědnosti a založená na požadavcích, je více exponovaná; pokud máte na starosti spolehlivost, definice, řízení a reakci na incidenty, umělá inteligence vás hlavně zrychlí.
Klíčové poznatky:
Odpovědnost : Upřednostňujte odpovědnost za výsledky, ne jen za rychlou tvorbu kódu.
Kvalita : Vytvářejte testy, zajistěte pozorovatelnost a smlouvy, aby procesy zůstaly důvěryhodné.
Řízení : Udržujte soukromí, řízení přístupu, uchovávání dat a auditní záznamy v lidském vlastnictví.
Odolnost proti zneužití : S výstupy umělé inteligence zacházejte jako s koncepty; kontrolujte je, abyste se vyhnuli sebevědomým chybám.
Změna rolí : Věnujte méně času psaní šablonových návrhů a více času navrhování odolných systémů.
Pokud jste strávili více než pět minut s datovými týmy, slyšeli jste refrén – někdy šeptaný, někdy pronášený na schůzce jako zvrat v ději: Nahradí umělá inteligence datové inženýry?
A… chápu to. Umělá inteligence dokáže generovat SQL, vytvářet pipeliny, vysvětlovat trasování zásobníku, navrhovat DBT modely, a dokonce navrhovat schémata skladu s až znepokojivou jistotou. GitHub Copilot pro SQL O DBT modelech GitHub Copilot
Je to jako sledovat vysokozdvižný vozík, jak se učí žonglovat. Působivé, mírně alarmující a vy si nejste úplně jisti, co to znamená pro vaši práci 😅
Pravda je ale méně uhlazená než titulek. Umělá inteligence naprosto mění datové inženýrství. Automatizuje nudné, opakovatelné části. Zrychluje momenty typu „vím, co chci, ale nepamatuji si syntaxi“. Zároveň plodí zbrusu nové druhy chaosu.
Tak si to rozložme pořádně, bez optimismu zvlněného vlnění rukou nebo paniky z doomscrollingu.
Články, které byste si mohli po tomto přečíst:
🔗 Nahradí umělá inteligence radiology?
Jak zobrazovací umělá inteligence mění pracovní postupy, přesnost a budoucí role.
🔗 Nahradí umělá inteligence účetní?
Podívejte se, které účetní úkoly umělá inteligence automatizuje a které zůstávají lidské.
🔗 Nahradí umělá inteligence investiční bankéře?
Pochopte dopad umělé inteligence na obchody, výzkum a vztahy s klienty.
🔗 Nahradí umělá inteligence pojišťovací agenty?
Zjistěte, jak umělá inteligence transformuje upisování, prodej a zákaznickou podporu.
Proč se otázka „AI nahrazuje datové inženýry“ stále znovu objevuje 😬
Strach pochází z velmi specifického místa: datové inženýrství zahrnuje spoustu opakovatelné práce .
-
Psaní a refaktoring SQL
-
Vytváření skriptů pro příjem dat
-
Mapování polí z jednoho schématu do druhého
-
Tvorba testů a základní dokumentace
-
Ladění selhání kanálu, která jsou… tak trochu předvídatelná
Umělá inteligence je neobvykle dobrá v opakovatelných vzorcích. A přesně to velká část datového inženýrství je – vzory naskládané na vzory. Návrhy kódu pro Copilot na GitHubu
Ekosystém nástrojů také již „skrývá“ složitost:
-
Spravované konektory ELT Dokumentace Fivetranu
-
Bezserverové výpočty AWS Lambda (bezserverové výpočty)
-
Zřizování skladu jedním kliknutím
-
Dokumentace k automatickému škálování orchestrace
-
Deklarativní transformační frameworky Co je DBT?
Takže když se objeví umělá inteligence, může se zdát, že je to poslední kousek. Pokud je zásobník již abstrahován a umělá inteligence dokáže napsat spojovací kód… co zbývá? 🤷
Ale tady je věc, kterou lidé přehlížejí: datové inženýrství není hlavně psaní na klávesnici . Psaní na klávesnici je ta snadná část. Těžší je přimět nejasnou, politickou a proměnlivou obchodní realitu, aby se chovala jako spolehlivý systém.
A umělá inteligence s tímhle šmouhem stále bojuje. Lidé s tím také bojují – jen lépe improvizují.
Co datoví inženýři vlastně dělají celý den (neokázalá pravda) 🧱
Buďme upřímní – pracovní pozice „datový inženýr“ zní, jako byste stavěli raketové motory z čisté matematiky. V praxi si ale budujete důvěru .
Typický den je méně zaměřený na „vymýšlení nových algoritmů“ a více na:
-
Vyjednávání s upstream týmy o definicích dat (bolestivé, ale nezbytné)
-
Zkoumání, proč se metrika změnila (a zda je to skutečné)
-
Řešení posunu schématu a překvapení typu „někdo přidal sloupec o půlnoci“
-
Zajištění idempotentních, obnovitelných a pozorovatelných kanálů
-
Vytvoření ochranných bariér, aby následní analytici omylem nevytvářeli nesmyslné dashboardy
-
Řízení nákladů, aby se z vašeho skladu nestal ohniště peněz 🔥
-
Zabezpečení přístupu, audit, dodržování předpisů a zásady uchovávání informací Principy GDPR (Evropská komise) Omezení úložiště (ICO)
-
Vytváření datových produktů, které lidé mohou skutečně používat, aniž by vám museli psát DM. 20 otázek
Velká část práce je sociální a provozní:
-
„Komu patří tento stůl?“
-
„Je tato definice stále platná?“
-
„Proč CRM exportuje duplikáty?“
-
„Můžeme tuto metriku bez rozpaků poslat vedoucím pracovníkům?“ 😭
Umělá inteligence s tím jistě může pomoci. Ale její úplné nahrazení je… trochu přehnané.
Co dělá z role datového inženýra silnou verzi? ✅
Tato část je důležitá, protože řeči o nahrazování obvykle předpokládají, že datoví inženýři jsou hlavně „stavitelé pipeline“. To je jako předpokládat, že kuchaři hlavně „krájejí zeleninu“. Je to součást práce, ale není to práce.
Silná verze datového inženýra obvykle znamená, že zvládne většinu z těchto činností:
-
Návrh pro změnu
. Data se mění. Týmy se mění. Nástroje se mění. Dobrý inženýr staví systémy, které se nezhroutí pokaždé, když realita kýchne 🤧 -
Definování smluv a očekávání
Co znamená „zákazník“? Co znamená „aktivní“? Co se stane, když řádek dorazí pozdě? Smlouvy zabraňují chaosu více než sofistikovaný kód. Standard smluv o otevřených datech (ODCS) ODCS (GitHub) -
Zabudujte pozorovatelnost do všeho
Nejen „běželo to“, ale „běželo to správně“. Aktuálnost, anomálie objemu, exploze nulových hodnot, posuny v distribuci. Pozorovatelnost dat (Dynatrace) Co je pozorovatelnost dat? -
Dělejte kompromisy jako dospělý:
Rychlost vs. správnost, náklady vs. latence, flexibilita vs. jednoduchost. Neexistuje dokonalý pipeline, existují pouze pipeline, se kterými se dá žít. -
Převeďte obchodní potřeby do odolných systémů.
Lidé požadují metriky, ale potřebují datový produkt. Umělá inteligence dokáže napsat kód, ale nedokáže magicky znát obchodní záludnosti. -
Mlčení dat
Největší poctou datové platformě je, že o ní nikdo nemluví. Neočekávaná data jsou dobrá data. Jako instalatérství. Všimnete si jich, až když selžou 🚽
Pokud děláte tyto věci, otázka „Nahradí umělá inteligence datové inženýry?“ začíná znít… trochu divně. Umělá inteligence může nahradit úkoly , nikoli odpovědnost .
Kde už umělá inteligence pomáhá datovým inženýrům (a je to opravdu skvělé) 🤖✨
Umělá inteligence není jen marketing. Pokud se používá dobře, je to legitimní multiplikátor síly.
1) Rychlejší SQL a transformace
-
Kreslení složitých spojů
-
Psaní okenních funkcí, o kterých byste raději nepřemýšleli
-
Přeměna logiky prostého jazyka na kostru dotazů
-
Refaktorování nevzhledných dotazů do čitelných CTE GitHub Copilot pro SQL
To je skvělé, protože to snižuje efekt „prázdné stránky“. Stále je potřeba validovat, ale začínáte na 70 % místo 0 %.
2) Ladění a drobečkové popisy hlavních příčin
Umělá inteligence je v tomto ohledu slušná:
-
Vysvětlení chybových hlášení
-
Navrhování, kde hledat
-
Doporučení kroků typu „kontrola neshody schématu“ GitHub Copilot
Je to jako mít neúnavného juniorního inženýra, který nikdy nespí a někdy sebevědomě lže 😅
3) Obohacování dokumentace a katalogu dat
Automaticky generováno:
-
Popisy sloupců
-
Souhrny modelů
-
Vysvětlení rodokmenu
-
„K čemu se tato tabulka používá?“ navrhuje dokumentaci k DBT.
Není to dokonalé, ale prolomí to prokletí nedokumentovaných kanálů.
4) Zkouška lešení a kontroly
Umělá inteligence může navrhnout:
-
Základní nulové testy
-
Kontroly jedinečnosti
-
Myšlenky referenční integrity
-
Tvrzení ve stylu „Tato metrika by se nikdy neměla snižovat“ testy dat DBT Velká očekávání: Očekávání
Znovu – stále rozhodujete o tom, na čem záleží, ale urychluje to rutinní části.
5) Kód pro „lepení“ potrubí
Konfigurační šablony, YAML scaffoldy, orchestrační DAG drafty. Tyhle věci se opakují a umělá inteligence je snídá 🥣 Apache Airflow DAGy
Kde se umělá inteligence stále potýká (a to je jádro problému) 🧠🧩
Tohle je ta nejdůležitější část, protože odpovídá na otázku náhrady skutečnou texturou.
1) Nejednoznačnost a měnící se definice
Obchodní logika je zřídka jasná. Lidé si to rozmyslí uprostřed věty. Z „aktivního uživatele“ se stane „aktivní platící uživatel“, z něj se stane „aktivní platící uživatel bez možnosti vrácení peněz, s výjimkou občasných výjimek“… víte, jak to chodí.
Umělá inteligence si tuto nejednoznačnost nemůže připustit. Může jen hádat.
2) Odpovědnost a riziko
Když se proces přeruší a řídicí panel manažera ukazuje nesmysly, někdo musí:
-
třídění
-
komunikovat dopad
-
opravit to
-
zabránit recidivě
-
napsat pitvu
-
rozhodnout, zda firma může stále důvěřovat číslům z minulého týdne
Umělá inteligence může pomáhat, ale nemůže být smysluplně zodpovědná. Organizace nefungují na základě vibrací – fungují na základě zodpovědnosti.
3) Systémové myšlení
Datové platformy jsou ekosystémy: příjem, ukládání, transformace, orchestrace, správa, kontrola nákladů, SLA. Změna v jedné vrstvě se projeví. Koncepty Apache Airflow
Umělá inteligence dokáže navrhnout lokální optimalizace, které způsobí globální problém. Je to jako opravit vrzající dveře jejich odstraněním 😬
4) Zabezpečení, soukromí, dodržování předpisů
Tady umírají fantazie o náhradě.
-
Řízení přístupu
-
Zabezpečení na úrovni řádků Zásady přístupu k řádkům Snowflake Zabezpečení na úrovni řádků BigQuery
-
Zpracování osobních údajů – rámec ochrany osobních údajů NIST
-
Pravidla pro uchovávání Omezení úložiště (ICO) Pokyny EU k uchovávání
-
Auditní záznamy NIST SP 800-92 (správa protokolů) CIS Control 8 (správa auditních protokolů)
-
Omezení umístění dat
Umělá inteligence sice může navrhovat zásady, ale jejich bezpečné zavedení je skutečné inženýrství.
5) „Neznámé neznámé“
Datové incidenty jsou často nepředvídatelné:
-
API dodavatele tiše mění sémantiku
-
Předpoklad o časovém pásmu se převrací
-
Zásyp duplikuje oddíl
-
Mechanismus opakování způsobuje dvojité zápisy
-
Nová funkce produktu zavádí nové vzorce událostí
Umělá inteligence je slabší, když situace není známým vzorem.
Srovnávací tabulka: co v praxi co snižuje 🧾🤔
Níže je uveden praktický pohled. Nejde o „nástroje, které nahrazují lidi“, ale o nástroje a přístupy, které určité úkoly zjednodušují.
| Nástroj / přístup | Publikum | Cenová atmosféra | Proč to funguje |
|---|---|---|---|
| Kopiloti kódu AI (pomocníci SQL + Python) GitHub Copilot | Inženýři, kteří píší spoustu kódu | Zdarma až placené | Skvělý v lešení, refaktorování, syntaxi… někdy samolibý velmi specifickým způsobem |
| Spravované konektory ELT Fivetran | Týmy unavené z budování ingestování | Předplatné | Odstraňuje nepříjemnosti spojené s vlastním příjemem, ale zároveň nabízí zábavné nové způsoby, jak se věci rozbijí |
| Platformy pro pozorovatelnost dat Pozorovatelnost dat (Dynatrace) | Každý, kdo vlastní SLA | Střední až velké podniky | Včas zachycuje anomálie - například detektory kouře pro potrubí 🔔 |
| Transformační frameworky (deklarativní modelování) dbt | Hybridy analytiky a vývoje | Obvykle nástroj + výpočet | Dává logiku modulární a testovatelnou, méně „špaget“ (špaget) |
| Datové katalogy + sémantické vrstvy dbt Sémantická vrstva | Organizace s nejasnostmi ohledně metrik | Záleží na praxi | Definuje „pravdu“ jednou – snižuje nekonečné debaty o metrikách |
| Orchestrace s šablonami Apache Airflow | Platformově orientované týmy | Náklady na otevření a provoz | Standardizuje pracovní postupy; méně skupin DAG typu snowflake |
| Generování dokumentace DBT s podporou umělé inteligence | Týmy, které nenávidí psaní dokumentů | Levné až střední | Vytváří „dostatečně dobré“ dokumenty, aby znalosti nezmizely |
| Zásady automatizované správy a řízení NIST Privacy Framework | Regulované prostředí | Enterprise-y | Pomáhá vymáhat pravidla – ale stále potřebuje lidi, aby pravidla navrhli |
Všimněte si, co chybí: řádek s nápisem „stiskněte tlačítko pro odstranění datových inženýrů“. Ano… tento řádek neexistuje 🙃
Takže… nahradí umělá inteligence datové inženýry, nebo jen změní jejich roli? 🛠️
Zde je nenápadná odpověď: Umělá inteligence nahradí části pracovního postupu, nikoli profesi.
Ale to překonfiguruje roli. A pokud to budete ignorovat, pocítíte tlak.
Co se mění:
-
Méně času na psaní šablonovitých textů
-
Méně času stráveného hledáním dokumentů
-
Více času na kontrolu, ověřování a navrhování
-
Více času na definování smluv a očekávání kvality Standard pro otevřená data (ODCS)
-
Více času na partnerství v oblasti produktů, bezpečnosti a financí
Toto je ten nenápadný posun: datové inženýrství se méně zaměřuje na „budování datových kanálů“ a více na „budování spolehlivého systému datových produktů“
A v tichém zvratu je to cennější, ne méně.
Také – a řeknu to, i když to zní dramaticky – umělá inteligence zvyšuje počet lidí, kteří mohou produkovat datové artefakty , což zvyšuje potřebu někoho, kdo by celou věc udržoval v chodu. Větší výstup znamená větší potenciální zmatek. GitHub Copilot
Je to jako dát všem vrtačku. Paráda! Teď už někdo musí prosazovat pravidlo „prosím, nevrtejte do vodovodního potrubí“ 🪠
Nový soubor dovedností, který zůstává cenný (i s umělou inteligencí všude) 🧠⚙️
Pokud chcete praktický kontrolní seznam „připravený na budoucnost“, vypadá takto:
Myšlení návrhu systému
-
Modelování dat, které přežije změny
-
Kompromisy mezi dávkovým a streamovaným streamováním
-
Latence, náklady, spolehlivost
Inženýrství kvality dat
-
Smlouvy, validace, detekce anomálií Standard smluv o otevřených datech (ODCS) Pozorovatelnost dat (Dynatrace)
-
SLA, SLO, návyky v reakci na incidenty
-
Analýza hlavních příčin s disciplínou (ne vibracemi)
Architektura správy a řízení důvěry
-
Přístupové vzory
-
Auditabilita NIST SP 800-92 (správa protokolů)
-
Ochrana osobních údajů již v návrhu Rámec ochrany osobních údajů NIST
-
Pokyny EU k uchovávání oblasti správy životního cyklu dat
Platformové myšlení
-
Opakovaně použitelné šablony, zlaté stezky
-
Standardizované vzory pro příjem, transformace, testování a testování dat Fivetran
-
Samoobslužné nástroje, které se neroztaví
Komunikace (ano, opravdu)
-
Psaní přehledných dokumentů
-
Zarovnání definic
-
Říct „ne“ zdvořile, ale pevně
-
Vysvětluji kompromisy, aniž bych zněl jako robot 🤖
Pokud to dokážete, otázka „Nahradí umělá inteligence datové inženýry?“ se stane méně hrozivou. Umělá inteligence se stane vaším exoskeletem, nikoli vaší náhradou.
Realistické scénáře, kdy se některé role v datovém inženýrství zmenší 📉
Dobře, rychlé porovnání s realitou, protože to není jen sluníčko a konfety s emotikony 🎉
Některé role jsou více exponované:
-
Čistě role pouze pro příjem, kde je vše standardní konektory Fivetran konektory
-
Týmy provádějí převážně repetitivní reportingové procesy s minimálními detaily v dané oblasti
-
Organizace, kde se s datovým inženýrstvím zachází jako s „SQL opicemi“ (kruté, ale pravdivé)
-
Role s nízkým podílem vlastnictví, kde je úkolem jen tikety a kopírování
Umělá inteligence a spravované nástroje mohou tyto potřeby zmenšit.
Ale i tam náhrada obvykle vypadá takto:
-
Méně lidí vykonává stejnou opakující se práci
-
Větší důraz na vlastnictví a spolehlivost platformy
-
Posun k zásadě „jedna osoba může udržet více potrubí“
Takže ano – vzorce v počtu zaměstnanců se mohou měnit. Role se vyvíjejí. Tituly se mění. To je reálné.
Přesto verze role s vysokou mírou vlastnictví a důvěryhodnosti přetrvává.
Závěrečné shrnutí 🧾✅
Nahradí umělá inteligence datové inženýry? Ne tak čistě a úplně, jak si lidé představují.
Umělá inteligence bude:
-
automatizovat opakující se úkoly
-
urychlení kódování, ladění a dokumentace GitHub Copilot pro SQL dbt dokumentace
-
snížit náklady na výrobu potrubí
Datové inženýrství se ale v podstatě zabývá:
-
odpovědnost
-
návrh systému
-
důvěra, kvalita a správa Standard smluv o otevřených datech (ODCS) Rámec ochrany osobních údajů NIST
-
převod nejasné obchodní reality do spolehlivých datových produktů
Umělá inteligence s tím může pomoci… ale „nevlastní“ to.
Pokud jste datový inženýr, je tento krok jednoduchý (ne snadný, ale jednoduchý):
zaměřte se na odpovědnost, kvalitu, platformní myšlení a komunikaci. Nechte umělou inteligenci postarat se o šablonovitý systém, zatímco vy se postaráte o důležité části.
A jo - někdy to znamená být v místnosti dospělý. Ne okouzlující. Ale tiše mocný 😄
Nahradí umělá inteligence datové inženýry?
Nahradí některé úkoly, přeskupí kariérní postupy a učiní ty nejlepší datové inženýry ještě cennějšími. To je skutečný příběh.
Často kladené otázky
Nahradí umělá inteligence datové inženýry úplně?
Ve většině organizací je pravděpodobnější, že umělá inteligence převezme konkrétní úkoly, než aby danou roli zcela vymazala. Může urychlit tvorbu SQL kódu, vytváření profilů, první průchody dokumentace a tvorbu základních testů. Datové inženýrství však s sebou nese také odpovědnost a nenápadnou práci, kterou představuje zajištění toho, aby se chaotická obchodní realita chovala jako spolehlivý systém. Tyto části stále potřebují lidi, kteří rozhodují, co znamená „správně“, a přebírají odpovědnost, když se něco pokazí.
Které části datového inženýrství již umělá inteligence automatizuje?
Umělá inteligence dosahuje nejlepších výsledků v opakovatelné práci: navrhování a refaktorování SQL, generování koster DBT modelů, vysvětlování běžných chyb a vytváření osnov dokumentace. Dokáže také vytvářet testy, jako jsou kontroly null nebo jedinečnosti, a generovat šablonový „spojovací“ kód pro orchestrační nástroje. Výhodou je hybná síla – začínáte blíže k funkčnímu řešení – ale stále musíte ověřit správnost a zajistit, aby odpovídalo vašemu prostředí.
Pokud umělá inteligence umí psát SQL a pipeline, co zbývá datovým inženýrům?
Hodně: definování datových kontraktů, řešení posunu schématu a zajištění idempotentních, pozorovatelných a obnovitelných datových kanálů. Datoví inženýři tráví čas zkoumáním změn metrik, budováním ochranných opatření pro následné uživatele a řízením kompromisů mezi náklady a spolehlivostí. Úkol se často omezuje na budování důvěry a udržování datové platformy „tiché“, což znamená dostatečně stabilní, aby na ni nikdo nemusel denně myslet.
Jak umělá inteligence mění každodenní práci datového inženýra?
Obvykle se tím omezuje používání šablon a „čas vyhledávání“, takže trávíte méně času psaním a více času kontrolou, ověřováním a návrhem. Tento posun posouvá roli směrem k definování očekávání, standardů kvality a opakovaně použitelných vzorů, spíše než k ručnímu kódování všeho. V praxi budete pravděpodobně více spolupracovat s produktem, bezpečností a financemi – protože technický výstup se snáze vytváří, ale hůře spravuje.
Proč má umělá inteligence potíže s nejednoznačnými obchodními definicemi, jako je „aktivní uživatel“?
Protože obchodní logika není statická ani přesná – mění se v průběhu projektu a liší se v závislosti na zainteresované straně. Umělá inteligence může navrhnout interpretaci, ale nemůže nést odpovědnost za rozhodnutí, když se definice vyvíjejí nebo se objeví konflikty. Datové inženýrství často vyžaduje vyjednávání, dokumentaci předpokladů a přeměnu fuzzy požadavků na trvalé smlouvy. Práce na „lidském sladění“ je hlavním důvodem, proč tato role nezmizí, i když se nástroje zlepšují.
Dokáže umělá inteligence bezpečně zvládat správu dat, ochranu soukromí a dodržování předpisů?
Umělá inteligence může pomoci s návrhy politik nebo s navrhováním přístupů, ale bezpečná implementace stále vyžaduje skutečné inženýrství a pečlivý dohled. Řízení zahrnuje kontrolu přístupu, zpracování osobních údajů, pravidla pro uchovávání, auditní záznamy a někdy i omezení bydliště. Jedná se o vysoce rizikové oblasti, kde „téměř správné“ není přijatelné. Lidé musí navrhovat pravidla, ověřovat jejich vymáhání a nést odpovědnost za výsledky dodržování předpisů.
Jaké dovednosti zůstávají pro datové inženýry cenné s tím, jak se umělá inteligence vylepšuje?
Dovednosti, které zvyšují odolnost systémů: systémové návrhové myšlení, inženýrství kvality dat a standardizace zaměřená na platformu. Smlouvy, pozorovatelnost, návyky reakce na incidenty a disciplinovaná analýza hlavních příčin se stávají ještě důležitějšími, když více lidí dokáže rychle generovat datové artefakty. Komunikace se také stává rozlišovacím znakem – sladění definic, psaní jasné dokumentace a vysvětlování kompromisů bez dramatu je velkou součástí udržení důvěryhodnosti dat.
Které role v datovém inženýrství jsou nejvíce ohroženy umělou inteligencí a spravovanými nástroji?
Role úzce zaměřené na opakované příjem dat nebo standardní kanály pro tvorbu reportů jsou více exponované, zejména pokud spravované konektory ELT pokrývají většinu zdrojů. Práce s nízkým podílem vlastnictví a řízená tickety se může zmenšit, protože umělá inteligence a abstrakce snižují úsilí na kanál. Obvykle to ale vypadá, že méně lidí provádí opakující se úkoly, nikoli „žádní datoví inženýři“. Role s vysokým podílem vlastnictví zaměřené na spolehlivost, kvalitu a důvěru zůstávají trvalé.
Jak mám používat nástroje jako GitHub Copilot nebo dbt s umělou inteligencí, aniž bych způsobil chaos?
Zacházejte s výstupem umělé inteligence jako s konceptem, nikoli s rozhodnutím. Používejte jej ke generování koster dotazů, zlepšení čitelnosti nebo k vytváření DBT testů a dokumentace a poté jej ověřte na reálných datech a okrajových případech. Spojte jej se silnými konvencemi: smlouvami, standardy pojmenování, kontrolami pozorovatelnosti a kontrolními postupy. Cílem je rychlejší dodání bez obětování spolehlivosti, kontroly nákladů nebo správy.
Reference
-
Evropská komise - Vysvětlení ochrany osobních údajů: Zásady GDPR - commission.europa.eu
-
Úřad komisaře pro informace (ICO) - Omezení úložiště - ico.org.uk
-
Evropská komise - Jak dlouho lze údaje uchovávat a je nutné je aktualizovat? - commission.europa.eu
-
Národní institut pro standardy a technologie (NIST) - Rámec ochrany osobních údajů - nist.gov
-
Centrum zdrojů počítačové bezpečnosti NIST (CSRC) - SP 800-92: Průvodce správou protokolů počítačové bezpečnosti - csrc.nist.gov
-
Centrum pro internetovou bezpečnost (CIS) - Správa auditních protokolů (kontrolní prvky CIS) - cisecurity.org
-
Dokumentace Snowflake - Zásady přístupu k řádkům - docs.snowflake.com
-
Dokumentace Google Cloudu – Zabezpečení na úrovni řádků v BigQuery – docs.cloud.google.com
-
BITOL - Standard smluv o otevřených datech (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - Standard smlouvy o otevřených datech - github.com
-
Apache Airflow - Dokumentace (stabilní) - airflow.apache.org
-
Apache Airflow - DAG (základní koncepty) - airflow.apache.org
-
Dokumentace k dbt Labs - Co je dbt? - docs.getdbt.com
-
Dokumentace k dbt Labs - O modelech dbt - docs.getdbt.com
-
Dokumentace k dbt Labs - Dokumentace - docs.getdbt.com
-
Dokumentace dbt Labs - Datové testy - docs.getdbt.com
-
Dokumentace dbt Labs - Sémantická vrstva dbt - docs.getdbt.com
-
Dokumentace k Fivetranu - Začínáme - fivetran.com
-
Fivetran - Konektory - fivetran.com
-
Dokumentace AWS – Průvodce pro vývojáře AWS Lambda – docs.aws.amazon.com
-
GitHub - GitHub Copilot - github.com
-
Dokumentace GitHubu - Získávání návrhů kódu ve vašem IDE pomocí GitHub Copilot - docs.github.com
-
Microsoft Learn - GitHub Copilot pro SQL (rozšíření VS Code) - learn.microsoft.com
-
Dokumentace Dynatrace - Pozorovatelnost dat - docs.dynatrace.com
-
DataGalaxy - Co je to pozorovatelnost dat? - datagalaxy.com
-
Dokumentace k Great Expectations - Přehled očekávání - docs.greatexpectations.io