プロジェクト
Project
■プロジェクト名
DataOps PJ
■プロジェクト期間
2022年4月~2024年3月(予定)
■プロジェクト活動目的
-
クラウドサービスではデータパイプライン・ワークフローマネジメントなどのローコードでのデータ処理や再利用性の高いサービスが提供されるようになってきている
-
データ処理をフルスクラッチで実装するのではなく、クラウドサービスのデータ処理フレームワークを利用することで、データマネジメントの省力化・再利用性向上・変化への対応力向上が可能かについて検証をすすめたい
■ 2023年度 活動内容
-
昨今のAI技術(ChatGPTなど)の活用によりDataOpsのプロセス改善や価値向上に資する可能性を模索する
-
事例、ツール、サービス等の調査結果の公開
-
既存ツール検証コード、DataOps × AIシナリオ検証コードの公開
■OOL DataOps PJ で得ようとしている知見
-
どういったデータ処理ツールが最適かを判定できるスキル・ノウハウ
-
データを処理する全体の流れをデザインし、それを運用・管理できるスキル・ノウハウ
-
オープンデータの活用促進のためのアイデア
DataOpsとは
-
データ管理者とデータ利用者が協力・連携してデータおよび処理プロセスを改善していく手法
-
アジャイル的なデータマネジメントを実現できる
Gartner 社の定義
https://www.gartner.com/en/information-technology/glossary/dataops
OOL DataOps プロジェクトの技術スコープ
オンプレミス環境とクラウド環境のシステム構成の比較
2021 年度 3Q に検証した国土交通省が公開している河川水位データの可視化ユースケースを Azure や Microsoft のクラウドサービスに置き換える。