下町柚子黄昏記 by @yuzutas0

したまち発・ゆずたそ作・試行錯誤の瓦礫の記録

データ基盤エンジニアの面白さ

データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。

何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。

5つの面白さ

ざっくりまとめると、データ基盤エンジニア(あるいは:分析基盤エンジニア・データエンジニア)というのは、「主体的に働きやすく」「スキルを(伸ばし/広げ)やすく」「キャリアアップに繋げやすい」仕事だと思います。

1. データ活用担当への第一歩として

データ分析や機械学習を仕事としてやりたい。だけど、職務経歴としてはアプリケーション開発やインフラに強みがある。 この立場の人がキャリアをピボットするための踊り場として、データ基盤の担当になることがあります。

持ち前のスキルを活かしてデータ基盤の構築・運用に関わるところから始めます。 データ仕様に詳しくなっていき、徐々に活用側へと染み出していくことで、キャリアの軸足を移します。

2. 技術的なチャレンジとして

趣味開発ではなかなか接する機会のない規模のデータを捌くことになります。 ISUCONでのパフォーマンスチューニングや、アドテク・動画配信の基盤担当者に近いモチベーションかもしれません。

「多少作りが悪くても動けば良し」というわけにはいきません。 それゆえか少数精鋭チームで技術力の高い人たちが集まっているように思います。

3. 幅広い業務知識を学ぶ機会として

扱うデータには様々なものがあり、事業ドメインと密着しています。

いわゆるWEBサービスのデータ基盤であれば、会計(売上)、マーケティング、ユーザー行動あたりのデータを扱うでしょう。 各業務領域の担当者と連携する機会もあるでしょう。

工夫次第でスキルや経験を広げやすく、将来的に潰しが効きやすいT字型人材となります。

4. 稼ぐネタとして

データ基盤人材の需要は供給を圧倒的に上回り、給料の良い職場に移りやすいだろうと推察されます。

露出機会のあるリーダー格人材ならヘッドハンティングを受けているはずです。 私もたまにお声掛けいただくことがあります。

米国では既にマネージャー職と匹敵する給与テーブル(年俸約1700万円)となっています。

IT業界で平均年収の高い職種はソフトウェアエンジニアリングマネージャ、データウェアハウスアーキテクト、ソフトウェア開発マネージャなど。米Glassdoor - Publickey https://www.publickey1.jp/blog/18/itglassdoor.html

5. オーナーシップを持つポジションとして

データ基盤の構築・運営では、一連のシステム群をいかにマネジメントするかが重要です。 目に見えやすい画面をベースにして会話できるものではなく、非エンジニアが中途半端に口出しする余地は少ないです。

ソフトウェアエンジニア自身がオーナーシップを持って計画・推進していくことが期待されます。 それゆえに透明性を担保して説明責任を果たせないとアウトですが。

(ビジネスモデルや組織文化によりますが)アプリケーション開発担当だと、ときには下請け構造や無理な納期コミットになりがちです。 基盤担当ならば正しいと思えるものを無理のないペースで作りやすい立場だと言えます。


データ基盤エンジニアの面白さをざっくりまとめるとこんな感じでした。

思っていること

最近はあっちこっちで「データ基盤エンジニアの採用を強化したいね」ということをよく話します。 アナリストや機械学習をやりたい人ばかりが増えても、なかなかビジネス価値に繋がりにくいからです。

ということで採用を強化したいのですが、他の分野と比べても明らかに人材不足です。 私が若手ITエンジニアに話を聞くと「そもそもデータ基盤に興味がない」「何が面白いのか分からない」といった意見が最も多かったです。

まぁそうだよなと思う反面、喰わず嫌いはもったいないなぁと思ったりもします。 この記事を通じてほんの少しでも興味を持ってもらえたら嬉しいです。

やるなら今だ!!!!!

【追記】

絶賛募集中です!!!!!

yuzutas0.hatenablog.com