下町柚子黄昏記 by @yuzutas0

したまち発・ゆずたそ作・試行錯誤の瓦礫の記録

新刊『実践的データ基盤への処方箋』を3名の方にプレゼントします

2021年12月に拙著『実践的データ基盤への処方箋 - ビジネス価値創出のためのデータ・システム・ヒトのノウハウ』が発売になりました。 発売を記念して、抽選で3名様に書籍をプレゼントします。 この記事の公開から応募期限まで3日しかないので、興味のある方は 今すぐ ご応募ください。

本書で何を学べるか?

概要

データ整備/データ基盤システムの構築/データ分析組織立ち上げのプロがすぐ効くノウハウを教えます!

  • 「会社内でバラバラになっているデータを集めたが、これから何をしていいか分からない」
  • 「最新技術を利用してデータ基盤をつくったがニーズがなかった」
  • 「頻繁に障害が発生するデータ収集に対応してきたが、そのデータは誰にも利用されていなかった」
  • 「データの意味が分からず、データの意味の聞き込み調査で1日が終わった」

データを活用してビジネス価値を創出したいと考える企業は増えています。 しかし、データを集めて、データレイク、データウェアハウス、BIツールなどのソフトウェアを導入したのに、データ活用が進まないという声を聞きます。 なぜ、せっかくコストをかけてつくったデータ基盤なのに機能しないのでしょうか?

Garbage In Garbage Out(ゴミを入れたらゴミが出てくる)という言葉があるように、適切な形でデータを取得しなければ、適切な分析はできません。 また、各ソフトウェアに限定した知識ではなく、データ基盤システムとして利用するためのノウハウがなければ、データ基盤は機能しません。 さらにデータ基盤にはたくさんの人が関わるため、組織のあり方やデータの取り扱いにも注意が必要です。

こんな方におすすめ

  • DX推進室に異動になった方
  • データ分析基盤の構築に関わる方
  • データ分析基盤を利用している方

書籍の目次

  • 第1章 データ活用のためのデータ整備
    • 1-1 データの一連の流れを把握し、入口から出口までを書き出す
    • 1-2 データの品質は生成元のデータソースで担保する
    • 1-3 データが生じる現場を把握して業務改善につなげる
    • 1-4 データソースの整備ではマスタ・共通ID・履歴の3つを担保する
    • 1-5 データレイク層の一箇所にデータのソースのコピーを集約する
    • 1-6 データウェアハウス層では分析用DBを使って共通指標を管理する
    • 1-7 共通指標は本当に必要とされるものを用意する
    • 1-8 特定用途に利用するデータマートはユースケースを想定してつくる
    • 1-9 ユースケースを優先的に検討しツールの整備を逆算する
    • 1-10 データの調査コストを減らすためにメタデータを活用する
    • 1-11 サービスレベルを設定・計測して改善サイクルにつなげる
    • 1-12 データ基盤の品質を支えるデータスチュワードの役割を設ける
  • 第2章 データ基盤システムのつくり方
    • 2-1 一般的なデータ基盤の全体像と分散処理の必要性を理解する
    • 2-2 データソースごとに収集方法が違うこと、その難しさを理解する
    • 2-3 ファイルを収集する場合は最適なデータフォーマットを選択する
    • 2-4 APIのデータ収集では有効期限や回数制限に気をつける
    • 2-5 SQLを利用したデータベース収集ではデータベースへの負荷を意識する
    • 2-6 データベースの負荷を考慮したデータ収集ではエクスポートやダンプファイル活用を視野に入れる
    • 2-7 更新ログ経由のデータベース収集はデータベースの負荷を最小限にしてリアルタイムに収集できる
    • 2-8 各データベース収集の特徴と置かれた状況を理解して使い分ける
    • 2-9 ログ収集はエージェントのキャパシティに注意
    • 2-10 端末データの収集は難易度が高いためできるだけ製品を利用し無理なら自作する
    • 2-11 ETL製品を選ぶポイントは利用するコネクタの機能性とデバッグのしやすさ
    • 2-12 データレイクでは収集したデータをなくさないようにする
    • 2-13 データウェアハウスには抽出や集計に特化した分析用DBを採用する
    • 2-14 分析用DBはクラウド上で使い勝手が良い製品を選ぶ
    • 2-15 列指向圧縮を理解して分析用DBが苦手な処理をさせないように気をつける
    • 2-16 処理の量や開発人数が増えてきたらワークフローエンジンの導入を検討する
    • 2-17 ワークフローエンジンは「専用」か「相乗り」かをまず考える
  • 第3章 データ分析の組織
    • 3-1 アセスメントによって組織の現状を客観的に把握する
    • 3-2 組織の状況に合わせて組織構造を採用する
    • 3-3 データ組織の成功に必要な要因を理解する
    • 3-4 データ組織を構成する職種と採用戦略の基本を押さえる
    • 3-5 データ活用とセキュリティはトレードオフの関係にあることを理解する
    • 3-6 組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める
    • 3-7 適切な権限設定とリスク管理方法を定める
    • 3-8 データ利用や権限管理などの運用ルールをドキュメント化する
    • 3-9 担当、見直しサイクル、判断基準を決めてデータやツールの棚卸を定期的に行う
    • 3-10 不正アクセスに備えてデータ保護や匿名加工技術を適用する
    • 3-11 監査では評価方法を理解して客観性を担保する

なお、本書は渡部徹太郎さん(第2章を担当)、伊藤徹郎さん(第3章を担当)との共著になります。 企画・編集は技術評論社の高屋卓也さんが担当されています。

技術評論社のサイト

本書についてのトークセッション x 2

「Tech × Marketing Conference 2021 #データマネジメント」

「データ書籍出版記念!データエンジニア/データアナリストクロストーク」

抽選で3名の方にプレゼントします

本書の発売を記念して抽選で3名に本書をプレゼントします。 以下の条件をご確認の上、奮ってご応募ください。

応募条件

  • ご自身のブログ(または準ずるサイト)に感想を書いていただけることが前提となります。
  • 既に本書をお持ちの方、贈答や転売目的の方はお申込みいただけません。
  • 日本時間2021年12月31日23時59分まで にご応募ください。

抽選ロジック

抽選は無作為ではなく、以下のスコアリングにもとづいて行います。

  • ランダムでスコアを付与(0〜500)
  • ブログ(または準ずるサイト)に10件以上の記事を投稿している(+100)
  • Twitterのフォロワーが150人以上いる(+100)
  • この記事のURLをTwitterでシェアしている(+100)
  • 選考課題「K-DEC」 に挑戦中または完了済である(+100)
  • 風音屋「データマネジメント講座」 を受講済である(+100)
  • 風音屋「受託開発・分析」 を契約中の企業に所属している(+100)
  • 風音屋「技術顧問」 を契約中の企業に所属している(+100)
  • 抽選実施時点で @yuzutas0 をフォローしている(+100)
  • 2021年9月末時点で @yuzutas0 をフォローしている(+100)
  • @yuzutas0 にギフト(ほしいものリスト)を送ったことがある(+100)
  • ミーティング等で @yuzutas0 に事前の連絡なく遅刻・欠席されたことがある(+300)

当選候補者

以下に該当する場合は落選として、次にスコアの高い人を繰り上げ当選とさせていただきます。

  • 入力内容に虚偽の疑いがある方
  • 風音屋 や @yuzutas0 と民事紛争があった企業の所属者(過去に所属していた方を含む)

当選後の連絡

当選された方のみメールにてご連絡させていただきます。 宛名と郵送先住所をお伺いします。 提供いただいた情報は本プレゼントの提供のみで利用します。 住所を知られたくない場合は、勤務先や郵便局の局留めをご指定ください。

応募フォーム

応募フォームURL

ぜひご応募ください。よろしくお願いいたします。