- はじめに
- 以前のデータ基盤
- 3つの問題解決と振り返り
- 問題1: データパイプラインの更新遅延
- 解決策
- 実装
- 振り返り
- 問題2: 分析チームへのクエリ修正依頼の増加
- 解決策
- 実装
- 振り返り
- 問題3: ETLパイプラインにおける加工処理の負債
- 解決策
- 実装
- 振り返り
- 問題1: データパイプラインの更新遅延
- これからの品質に関する改善
はじめに
初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川(@tvtg_24)です。
本記事ではデータ品質の保守に着目してここ1年くらいで試行錯誤したことを振り返っていきたいと思います。
対象にしている読者は以下の方々です。
- データ品質について考えている方
- データ分析の品質担保に困っている方
- ETLからELTへの基盤移行を考えている方
この記事は Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 - connpassで発表させていただいた内容を詳細に説明したものになります。
登壇スライド: データ基盤品質向上のための一年 - Speaker Deck
動画: https://youtu.be/q9HA1S3vmcE?t=7578
続きを読む