下町柚子黄昏記 by @yuzutas0

したまち発・ゆずたそ作・試行錯誤の瓦礫の記録

データ基盤

私の考えた最強のログ&モニタリング設計

この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったこと…

ブラウザ操作の記録・自動実行を補助するツールを作ったけど供養します

この記事は、クローラー/Webスクレイピング&RPA Advent Calendar 2018 Advent Calendar 2018 - Qiitaの6日目の記事です。 何を作ったか リポジトリはyuzutas0/sel2pupとなります。 SeleniumIDEをPuppeteerに変換するスクリプトを作りました。まだプロトタ…

データ基盤をHadoopからBigQueryに移管するときのアンチパターン

この記事は、SRE 2 Advent Calendar 2018 - Qiitaの4日目の記事です。 主張 データ基盤の移管プロジェクトをやるときは、データサイエンティストではなくSRE人材が推進すべきだと思っています。 この記事の概要 SRE人材が介在しないまま、システム全体の運用…

データ基盤のクソコラを供養します

この記事は、クソコラ Advent Calendar 2018 - Adventarの3日目の記事です。 クソコラ 経緯 社内Slackの #ultra_soul チャンネルで、同僚から送られてきました。 同僚の @tky_bpp @oosugi_naoya @susunshun から糞コラが次々と送られてくる pic.twitter.com/…

データ基盤の3分類と進化的データモデリング

この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と…

データ基盤を改善するアルバイトを募集中です

データ基盤を改善するSREのアルバイトを募集中です。 春休みにひと稼ぎしたい・腕試しをしたい学生さんなど、お知り合いにいましたらぜひご紹介頂けると有難いです。 <仕事の魅力> こちらのエントリーをご参照ください! yuzutas0.hatenablog.com <募集概要>…

データ基盤エンジニアの面白さ

データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基…

寄稿しました:@IT「データ基盤」大解剖(全4回)

概要 ITmedia様の@IT(アットマーク・アイティ)に連載記事を寄稿しました。 開発現場に“データ文化”を浸透させる「データ基盤」大解剖 「使われるデータ基盤」「組織におけるデータ活用」といったテーマに関心のある方のヒントになればと思います。 記事一…

デブサミ2018夏に登壇しました #devsumi #dataops

Developers Summit (通称デブサミ) 2018 Summer【C-1】にて登壇しました。 「いかにDataとOpsを繋げるか」というテーマで担当現場での取り組みや学びについてお伝えしました。 ちなみにDataOpsというタイトルを採用した背景については、会社のメンバーズブ…

市ヶ谷Geek★NightでGCPの相談LTをしました #ichigayageek

市ヶ谷Geek★Night#13でGCPの相談LTをしました。 もはや1年前の話です。大人の事情で未公開でしたが、時効になったので資料を公開します。 スライド 「GCP相談LT」 特に知見のシェアとかではなく、データ基盤を作り始めたが全然分からないので助けてくれ!と…

GCPUGでデータ基盤の話をしました #gcpug

社内GCPUG1でデータ基盤の話をしました。 Cloud Dataflowのプロダクトマネージャーを招いた豪華イベントでした。 実施は半年前ですが、ずっとブログに書き忘れていたので、自分の記録用に投稿しておきます。 ※本稿は個人の見解であり、所属する組織を代表す…

新入社員研修でデータ分析講座を実施しました

2018年度新卒エンジニア採用の社員を対象とした研修にて、データ分析講座を実施しました。 ※本稿は個人の見解であり、所属する組織を代表するものではありません。 講義スライド 「データ分析とプロダクトエンジニアリング」 ソフトウェアエンジニアといえど…

BQ寿司でデータ基盤をゆるやかに活用する話をしました #bq_sushi

『bq_sushi tokyo #7』に登壇しました。 BigQueryのプロダクトマネージャーである Chad Jennings 氏と、リードエンジニアである Ahmed Ayad 氏がBQについて解説を行うという素晴らしいイベントでした。 スライド 「ゆるやかにBigQuery(データ基盤)を安定活…

データ集計業務の勘所について話しました@データマイニングMeetup

ウィルゲート様が主催する統計やらNight!!データマイニングMeet up #2でLTをしました。 スライド 『データ集計業務を半年で300案件捌いて見えてきた勘所』 企業内のデータ分析チームが陥りがちな課題とその解決策についてのケーススタディとなります。 PyCon…

データの民主化とサービスレベルについて話しました@分析基盤Meetup #shinjukugl

セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思…

SQLをひたすら読み書きするアルバイトを募集中です

【追記】 応募を締め切りました。 ありがたいことに募集人数を上回るお問い合わせが寄せられまして、無事に採用が決まりました。 ご協力いただいた皆様、誠にありがとうございました。 BigQueryのSQLをひたすら読み書きしまくるアルバイトを募集中です。 <概…

PyConJPでデータ分析基盤とチーム文化の話をしました #pyconjp

概要 PyCon JP 2017というカンファレンスに参加しました。 Day2の最終セッションにて「SREエンジニアがJupyter+BigQueryでデータ分析基盤をDev&Opsした話」というタイトルで発表しました。 イベントについて 実施風景や発表内容 togetterや他の参加者のブロ…

Python入門者の集い #PyNyumon でLTしました&プログラミング言語の学習法の自己整理

概要 Python入門者の集い #5というイベントでLTをしてきました。 ついでに自分なりにプログラミング言語に入門するときの考え方を整理しました。 他の参加者の発表 LTテーマは「最近Pythonを触り始めた話」ということで、 ハッカソンでこういうの作ったよ デ…