プロジェクト

Project

■プロジェクト名

 DataOps PJ

■プロジェクト期間

 2022年4月~2023年3月(予定)

■プロジェクト活動目的

 ・クラウドサービスではデータパイプライン・ワークフローマネジメントなどのローコードでのデータ処理や再利用性の高いサービスが

  提供されるようになってきている

 ・データ処理をフルスクラッチで実装するのではなく、クラウドサービスのデータ処理フレームワークを利用することで、データマネジ

  メントの省力化・再利用性向上・変化への対応力向上が可能かについて検証をすすめたい

 

■FY22 年活動内容

 ・クラウドサービスを利用したデータマネジメントの検証

 ・オープンデータパッケージマネージャの活用・検証

■OOL DataOps PJ で得ようとしている知見

 ・どういったデータ処理ツールが最適かを判定できるスキル・ノウハウ

 ・データを処理する全体の流れをデザインし、それを運用・管理できるスキル・ノウハウ

 ・オープンデータの活用促進のためのアイデア

DataOpsとは

  • データ管理者とデータ利用者が協力・連携してデータおよび処理プロセスを改善していく手法

  • アジャイル的なデータマネジメントを実現できる

 Gartner 社の定義
 https://www.gartner.com/en/information-technology/glossary/dataops

 

OOL DataOps プロジェクトの技術スコープ

Dataops_技術スコープ.png

オンプレミス環境とクラウド環境のシステム構成の比較

2021 年度 3Q に検証した国土交通省が公開している河川水位データの可視化ユースケースを Azure や Microsoft のクラウドサービスに置き換える。

Dataops_システム構成の比較.png

DataOps 環境のテンプレートを GitHub で公開(随時更新中)

Dataops_GitHub.png