下町柚子黄昏記 by @yuzutas0

したまち発・ゆずたそ作・試行錯誤の瓦礫の記録

データ基盤

データ職種の課題図書リストを作りたい

この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者(@yuzutas0)は風音屋(@Kazaneya_PR)という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活…

DataOpsとは何か #dataops

本稿は、コンテンツの保存を目的として、2018年8月10日にR-Techブログに寄稿した記事を転記し、一部表現を修正したものです。 https://blog.recruit.co.jp/rtc/2018/08/10/developers_summit_summer2018/ 本稿の筆者は DataKitchen の記事でも紹介されており…

BigQueryでSaaSのjsonデータを処理するSQLサンプル集

この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」とい…

新刊『実践的データ基盤への処方箋』を3名の方にプレゼントします

2021年12月に拙著『実践的データ基盤への処方箋 - ビジネス価値創出のためのデータ・システム・ヒトのノウハウ』が発売になりました。 発売を記念して、抽選で3名様に書籍をプレゼントします。 この記事の公開から応募期限まで3日しかないので、興味のある方…

ランサーズのデータ活用を手伝っている話

ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材(ランサー)として、ランサーズ社を手伝っています。 「こんなことをやってきたよ…

Looker活用によるバイモーダルITの実現

Looker Advent Calendar 2020 2日目の記事です。 この記事ではLookerの活用例を紹介します。 免責事項 正確にはLookerそのものに関する話ではなく「Lookerを含めて様々なツールを組み合わせることでビジネスを加速させようぜ!」という話です。 本稿は筆者個…

『データマネジメントが30分でわかる本』を出版しました

『データマネジメントが30分でわかる本』をKindleで販売開始しました!データ活用に関わる方々はぜひお買い求めいただければと思います!https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 (自称)企画屋・コンセプトデザイナーの @yuzutas0 …

『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました

『Software Design 2020年7月号』の第1特集「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」 第2章「ログ分析基盤の構築で考えるべきこと - 多様なログを安心して使えるようにするために」を寄稿しました。 本日発売の『Software Design (ソフ…

DXに関する私的な殴り書き

この記事について 共感している そもそもDXとは何か デジタル中心のビジネスにどうシフトするか デジタル中心のオペレーションにどうシフトするか 顧客や従業員がラクになる体験(UX) 最近やっている案件 みんなすごい この記事について 下書きの状態で公開…

データエンジニアリングにおける人事評価基準

じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事…

逆ジオコーディングな地図ダッシュボードを10分で作る

この記事はデータ活用 Advent Calendar 2018 - 16日目の記事です。 ダッシュボードに関する登壇をしたところ「自社でも地図データを活用したい」と相談いただいたのでTipsを共有します。 もくじ もくじ はじめに この記事のゴール 解決したい課題 実行方針 …

データ活用に祈りを込めて

久々に、仕事の手を止めて、色々なことを考えた1日だった。 「不機嫌で人を動かすのは、赤ん坊。ご機嫌で人を動かすのが、おとなである。」https://t.co/hGyyuvBehgが伸びてるみたい。内容が気になるね! 作成者:@yuzutas0— トゥギャッター公式 (@togetter_j…

BigQueryのコスト可視化ダッシュボードを10分で作る

この記事はGoogle Cloud Platform その1 Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" …

Developers Boost に登壇しました #devboost

この記事はエンジニアの懺悔 Advent Calendar 2018 - 16日目の記事です。 概要 データ再演ティストの@yuzutas0です。 若手エンジニアのための技術カンファレンス「Developers Boost」(デブスト)で登壇しました。 スライド: 事業成長をBoostさせるデータ基…

私の考えた最強のログ&モニタリング設計

この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったこと…

ブラウザ操作の記録・自動実行を補助するツールを作ったけど供養します

この記事は、クローラー/Webスクレイピング&RPA Advent Calendar 2018 Advent Calendar 2018 - Qiitaの6日目の記事です。 何を作ったか リポジトリはyuzutas0/sel2pupとなります。 SeleniumIDEをPuppeteerに変換するスクリプトを作りました。まだプロトタ…

データ基盤をHadoopからBigQueryに移管するときのアンチパターン

この記事は、SRE 2 Advent Calendar 2018 - Qiitaの4日目の記事です。 主張 データ基盤の移管プロジェクトをやるときは、データサイエンティストではなくSRE人材が推進すべきだと思っています。 この記事の概要 SRE人材が介在しないまま、システム全体の運用…

データ基盤のクソコラを供養します

この記事は、クソコラ Advent Calendar 2018 - Adventarの3日目の記事です。 クソコラ 経緯 社内Slackの #ultra_soul チャンネルで、同僚から送られてきました。 同僚の @tky_bpp @oosugi_naoya @susunshun から糞コラが次々と送られてくる pic.twitter.com/…

データ基盤の3分類と進化的データモデリング

この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と…

データ基盤を改善するアルバイトを募集中です

データ基盤を改善するSREのアルバイトを募集中です。 春休みにひと稼ぎしたい・腕試しをしたい学生さんなど、お知り合いにいましたらぜひご紹介頂けると有難いです。 <仕事の魅力> こちらのエントリーをご参照ください! yuzutas0.hatenablog.com <募集概要>…

データ基盤エンジニアの面白さ

データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基…

寄稿しました:@IT「データ基盤」大解剖(全4回)

概要 ITmedia様の@IT(アットマーク・アイティ)に連載記事を寄稿しました。 開発現場に“データ文化”を浸透させる「データ基盤」大解剖 「使われるデータ基盤」「組織におけるデータ活用」といったテーマに関心のある方のヒントになればと思います。 記事一…

デブサミ2018夏に登壇しました #devsumi #dataops

Developers Summit (通称デブサミ) 2018 Summer【C-1】にて登壇しました。 「いかにDataとOpsを繋げるか」というテーマで担当現場での取り組みや学びについてお伝えしました。 ちなみにDataOpsというタイトルを採用した背景については、会社のメンバーズブ…

市ヶ谷Geek★NightでGCPの相談LTをしました #ichigayageek

市ヶ谷Geek★Night#13でGCPの相談LTをしました。 もはや1年前の話です。大人の事情で未公開でしたが、時効になったので資料を公開します。 スライド 「GCP相談LT」 特に知見のシェアとかではなく、データ基盤を作り始めたが全然分からないので助けてくれ!と…

GCPUGでデータ基盤の話をしました #gcpug

社内GCPUG1でデータ基盤の話をしました。 Cloud Dataflowのプロダクトマネージャーを招いた豪華イベントでした。 実施は半年前ですが、ずっとブログに書き忘れていたので、自分の記録用に投稿しておきます。 ※本稿は個人の見解であり、所属する組織を代表す…

新入社員研修でデータ分析講座を実施しました

2018年度新卒エンジニア採用の社員を対象とした研修にて、データ分析講座を実施しました。 ※本稿は個人の見解であり、所属する組織を代表するものではありません。 講義スライド 「データ分析とプロダクトエンジニアリング」 ソフトウェアエンジニアといえど…

BQ寿司でデータ基盤をゆるやかに活用する話をしました #bq_sushi

『bq_sushi tokyo #7』に登壇しました。 BigQueryのプロダクトマネージャーである Chad Jennings 氏と、リードエンジニアである Ahmed Ayad 氏がBQについて解説を行うという素晴らしいイベントでした。 スライド 「ゆるやかにBigQuery(データ基盤)を安定活…

データ集計業務の勘所について話しました@データマイニングMeetup

ウィルゲート様が主催する統計やらNight!!データマイニングMeet up #2でLTをしました。 スライド 『データ集計業務を半年で300案件捌いて見えてきた勘所』 企業内のデータ分析チームが陥りがちな課題とその解決策についてのケーススタディとなります。 PyCon…

データの民主化とサービスレベルについて話しました@分析基盤Meetup #shinjukugl

セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思…

SQLをひたすら読み書きするアルバイトを募集中です

【追記】 応募を締め切りました。 ありがたいことに募集人数を上回るお問い合わせが寄せられまして、無事に採用が決まりました。 ご協力いただいた皆様、誠にありがとうございました。 BigQueryのSQLをひたすら読み書きしまくるアルバイトを募集中です。 <概…