top of page

DataOps

​Project

■プロジェクト名

　DataOps PJ

​

■プロジェクト期間

　2022年4月～2024年3月（予定）

​

■プロジェクト活動目的

  • クラウドサービスではデータパイプライン・ワークフローマネジメントなどのローコードでのデータ処理や再利用性の高いサービスが提供されるようになってきている

  • データ処理をフルスクラッチで実装するのではなく、クラウドサービスのデータ処理フレームワークを利用することで、データマネジメントの省力化・再利用性向上・変化への対応力向上が可能かについて検証をすすめたい
     

■ 2023年度 活動内容

  • 昨今のAI技術(ChatGPTなど)の活用によりDataOpsのプロセス改善や価値向上に資する可能性を模索する

  • ​事例、ツール、サービス等の調査結果の公開

  • 既存ツール検証コード、DataOps × AIシナリオ検証コードの公開

​

■OOL DataOps PJ で得ようとしている知見

  • どういったデータ処理ツールが最適かを判定できるスキル・ノウハウ

  • データを処理する全体の流れをデザインし、それを運用・管理できるスキル・ノウハウ

  • オープンデータの活用促進のためのアイデア

​

DataOpsとは

  • データ管理者とデータ利用者が協力・連携してデータおよび処理プロセスを改善していく手法

  • アジャイル的なデータマネジメントを実現できる

​

　Gartner 社の定義
　https://www.gartner.com/en/information-technology/glossary/dataops
 

昨年度(2022年度)までの取り組み

DataOpsのプロセス整理

スクリーンショット 2023-06-26 14.26.27.png

プロセスに基づいた基盤検証

スクリーンショット 2023-06-26 14.27.45.png

2022年度版 DataOps 環境のテンプレートを GitHub で公開

https://github.com/OkinawaOpenLaboratory/DataOpsTemplates

【2023年度活動】   1. 既存の事例・技術調査検証

  • 1-1. 事例調査

    • DataOpsのプロセスに関係のあるAIを活用した事例の調査

    • 成果物

      • 事例の一覧

  • 1-2. サービス/ツール調査

    • DataOpsのプロセスに活用できるAI関連サービス/ツールの調査

    • 成果物

      • サービス/ツールの一覧(プロセスとのマッピング、想定活用イメージ、セキュリティ観点など)

      • サービス/ツールのカオスマップ

  • 1-3. 既存技術の検証

    • 調査したサービス/ツールの検証

    • 成果物

      • 検証観点

      • 検証内容

      • 検証コード

      • 検証結果

  • 1-4. まとめ・公開

    • 成果物を整理し、GitHubに公開

【2023年度活動】  2. AI × DataOpsシナリオ検証

  • 2-1. 検証計画

    • 検証観点を定め、シナリオを策定する

    • 成果物

      • 検証観点

      • ユースケース

      • 検証シナリオ

  • 2-2. 検証シナリオの実装

    • 策定したシナリオに基づいて実装を行う

    • 成果物

      • 実装ソースコード

      • 各種手順書(構築、実行等)

  • 2-3. 評価

    • 実装したシナリオに対して検証観点に基づいて評価を行う

    • 成果物

      • 評価結果

  • 2-4. まとめ・公開

    • 成果物を整理し、GitHubに公開

bottom of page