2019年の振り返りと2020年のやっていき

会社の立ち位置として大きく変革があった年だった。自分の業務としてはすっげー面白い分析をしているんだけど、相変わらずクライアント的なあれこれで公開しづらくて来年こそは、って思ってる。 今年よりも来年の方がデータ分析業務の責任感としては無双感が高まる気配しか無い。 一方で会社分割に伴いリソース不足が発生したり、それに伴ってサービス品質の低下は拭えなかったりと悔しい思いも現在進行系でしている。

2019年

  • 2019年は会社が分割した。前職も会社分割があったので、前職の先輩から「分割が好きなんですね」と言われたりした。
  • 分割後速やかに「日本テレビ株の大きな会社」から「全局が出資している会社からの100%出資会社」に売却された。
  • 勘のよいかたはわかるだろうけど、全局の視聴データを扱えるような座組としての準備が整った
  • 各局のキーマンと視聴データのシステム、視聴データの利活用、個人情報保護法などについて多くの議論を行う場をもらえた
  • 代理店の方と一緒に研究とかもすすめることができた

番組のメタデータと視聴データが組み合わせ

  • ウェブと違い、テレビの視聴データは基本的には選択肢が7つ(NHKx2 + 民放5)しかない。
  • ウェブが能動的メディアと呼ばれることに対して、視聴データは受動的メディアと呼ばれ、「関心があるコーナーだけではなく、前後のコンテンツも閲覧する」
  • このことからウェブと違ってより狭い嗜好性の抽出は難しいかもしれない(例えば、「ベンツのSクラス」といった検索や閲覧はありえない)が、適切な処理を施すことで、視聴者の関心を徐々に徐々に浮き彫りにすることができる(そう)
  • テレビは「世帯で視聴するから家庭内で関心の無い視聴者にレコメンドなどが行われる可能性がある」などと言われ、ビデオリサーチ社の個人視聴率が重視されているが、ある種の方法を使うことで、「世帯の視聴データ」を「個人の視聴データに分割」できる(そう)

こういった、視聴データの分析は、まさに期初の「データの山から金のつぶをコツコツと拾い集める」が実感でき、データを見る業務としては楽しさしか無い

個人情報保護法

  • 年初に副社長と「焦らなくても世の中のデータの使い方を考えると、必ずどこかがやらかして炎上すると思う」と話していたら、想像以上にでかい企業が想像以上にでかく炎上した
  • 年明けすぐに民間資格ではあるが「個人情報保護士」の資格を取っておいて、絶妙なタイミングだったので非常に助かった
  • GDPR 翻訳・原文、 CCPA 翻訳・原文、過去の高木先生のブログを読み漁って、うっかり「個人情報保護法の逐次解説(鈍器・通称 宇賀本)」まで買った
  • 法律の本質的な目的や、容易照合性に向き合ったシステム構成を学べた
  • ぶっちゃけ、「技術 x 法律 x 放送」の3つを理解できている人はほとんどいないので、それっぽいバリューを出せている

個人情報保護法の逐条解説--個人情報保護法・行政機関個人情報保護法・独立行政法人等個人情報保護法 第6版

個人情報保護法の逐条解説--個人情報保護法・行政機関個人情報保護法・独立行政法人等個人情報保護法 第6版

  • 作者:宇賀 克也
  • 出版社/メーカー: 有斐閣
  • 発売日: 2018/06/28
  • メディア: 単行本（ソフトカバー）

2020年

  • 視聴データをどこまで利活用できるか、を考えることが僕のメインミッションになる
    • 当然、新規なサービス・既存のビジネスにどう寄与していくかという意味でドメイン知識不可避だし、これまで以上に法律を理解していく(何なら法律を推し進めていく必要だってあるかもしれない)必要はあるし、技術的にこれらをどう実現していくか、をより一層考えていく
  • 何度か書いたけど1兆8千億円の広告費をどこまでいじって行けるか、人の釜に手どころか腕まで突っ込んで放送局・広告主・視聴者の利益を考えていくか、それを技術・データの立場から推進していけるのは楽しさしか無い

採用活動

  • 人手が足りなさすぎて、研究もできてないし、メンバーにその余暇も提供できてない
  • そんなどころではなく走っているシステムやデータの補正に時間が取られ、毎日シャトルランをしている(復旧・メンテ→プロダクト開発)感じでメンタルがすり減ってきている
  • インフラ・アプリエンジニア/データエンジニア/データサイエンティストを募集しています
  • 業界水準と比べても弊社、能力に対して待遇はいいので来て欲しさしか無い

抱負

やっていくぞ！

2018年の振り返りと2019年のやっていき

昨年は民放各局とどう付き合っていくか、放送業界の中でどう振る舞っていくか、を頭の中心に据えて技術よりもどちらかというと政治よりに近いポジションで仕事をしていたので、書けないことが多い年だった

昨年取り組んでたこと

放送業界でのプレゼンス確立

チームマネジメント

  • 本格的にデータに向き合うべく、データユニットができ、メンバがアサインされたので、チームの構築と教育
    • 苦戦はしたものの、半年でみなデータとの向き合いがどういうことかが見えてきてインサイトの抽出やレポート作成ができるようになってきた
    • 今後は「2 up-down」のレポーティングができるようになってくれると嬉しいし、自分自身ももっと鍛えたい

業界の人との人脈づくり

  • みなさま良くしてくださり、「ザ・業界人」という感じの方とも飲みに行ったりできた。
  • うまく成立しなかったけど LL イベントで「データ放送の BML」セッションでお声がけをした方たちとなんとかコンタクトを維持してくださってる。来年こそ成立させたい

昨年取り組めなかったこと

  • 分析における技術的なインプットができなかった
    • 野生のデータサイエンティストなので手持ちの武器とドメイン知識の吸収力でなんとか凌いでいるのは自分が一番理解している
    • 手持ちの武器を増やすとともに、他分野のデータサイエンティストたちがどのような取り組みをしているかもう少しインプットしたい
  • 個人情報保護法・情報セキュリティの勉強
    • なんだかんだ中に入ると放送業界の上記の技術面は強いとはいい難く、みな知識や担保を求めているのでこのあたり資格コレクターではないけれど、「実務経験があるだけではなく、ちゃんと保証もありますよ」と伝えることで業界全体をうまく安全安心な方面のリテラシ向上もしていきたい
  • AIでなんでも解決マンになるわけではないが、技術検証の意味も込めて視聴データを相手にいろいろ取り組みたかった(が取り組めなかった

今年取り組んでいくこと

  • 資格を取って HAROiD が中心となってリードしていく
  • DeepLearning でデータをもっと嬲る
  • チーム強化
  • データ駆動での放送業界のマネタイズのリフトアップ
  • データ分析系イベントに参加してインプットを増やし、アウトプットの幅を広げる

やっていき

テレビ、視聴率が下がっているって言われてるけどまだまだ 1兆8千億円の広告費が年で投入されてて、ここ1%改善するだけで莫大な利益が生み出されるます。 視聴ログ・クロスデバイスのログ分析したい人、一攫千金のロマンがあると自分では思ってるので、全力で向き合っていきたい

とあるドメインに紐づく GKE の pod を探せ！

gcp kubenetes

証明書更新の時期、ありますね。僕はこの作業がとても嫌いです。 よきにはからってくれていればいいのですが、引き継いだりした場合に

  • どこで動いているかわからない
  • どうやって変えればわからない
  • そもそもどのリポジトリ？

ってあるあるだと思います(前職で同じことが起こっていたら非常に申し訳ない)。

kubernetes は便利なんで pod を上げると思うのですがそうなるともう何がなんだかになります。 今日はこれを探すメモです。

手順

% nslookup ${該当のドメイン}
% kubectl get svc
NAME           TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)         AGE
XXXX      LoadBalancer   10.AAA.BBB.CCC   104.FFF.GGG.HHH   443:KKKKK/TCP   1y
YYYY      LoadBalancer   10.AAA.BBB.DDD   104.FFF.GGG.III        443:LLLLL/TCP   1y
ZZZZ      LoadBalancer    10.AAA.BBB.EEE   104.FFF.GGG.JJJ     443:MMMMM/TCP   1y

ってすれば NAME がでてくるので、あとは kubectl get pod して kubectl exec -it XXXX bash すれば、何者様なのかがわかります

2018年 抱負

前職の(しかも入社したての)頃から「muddyさんはいつ転職するんですか？」と言われ続けていましたが、 2017年の7月1日付けで HAROiD に転職して半年が過ぎました。

HAROiD は3年目に突入したばかりの会社ですが、 TV x Web というのを実現しつつありとてもエキサイティングな環境で働いています。

2017年にやってきたこと

  • プロジェクトごとにプライベートだった Slack Channel をほぼ全て Public 化による社内情報のオープン化
  • 放送局様からの要請 / プロダクトアウトだったためサービスのファクトを各種レポートとして提出
  • InterBEE のためのプレゼン資料づくり
  • 「インフラ/アプリ」「フロント」に分かれていたエンジニアチームをマージ
  • 開発速度を調整しながら必要な箇所の運用の冗長化
  • 経営指針となる情報の提供

あんまり直接的な売上にコミットできてないですね・・・安定性の補強と主体性のある人が自分でキャッチアップして進むための基盤を整備したってところまでです。

あ、あとエンジニアチームのキャリア・アンカーをやって皆の志向性を意識した1on1をやったくらい。

この半年あまりコード自体は書かずに、主に設計とコードのレビュー、キャリアを意識したアサインなど清く正しいエンジニアリングマネージメントとビジネスデベロップメントにリソースを振り向けていた感じです。 今年ももう少し後述するビジネスデベロップメントに注力し、ビジネスを立ち上げてからまたコードをガンガン書いていきたいと思っています。

2018年にやってやりたいこと

データビジネス

HAROiD では、スマホ/PCでログインすることでウェブと紐付けられている視聴履歴データは最高に面白くて、年末の InterBEE で紹介した 「HAROiD x Ad」を今年はきちんと商品化して多くの放送局様・広告主様に利用いただけるように商品品質を高め、実績を積み上げていきます。

もちろん各種のファクトを収集可視化し、サジェストから対策の企画・改善案提案までのトータルでのデータアナリティクス・データに基づくコンサルティングによって自社サービスのグロース・テレビのデータ放送の価値向上はより加速していきます。

ハレのLiVECM からケの視聴体験への進化

ACC に選ばれた「視聴者がウェブからテレビに介入する体験」を提供する LiVECM を「ウェブ→テレビ」から「テレビ↔ウェブ」へより融合したインタラクションに昇華させつつ、より日常の視聴体験の中に馴染ませ、新たな視聴体験を提供していきたいと思っています。

HAROiD では個のクリエイターの力だけではなく、クリエイティブを現実のものに着地させていくテクニカルディレクターの力、それを実現する @toritori0318を筆頭としたエンジニアの力を一つの矢として束ねればそう遠くない未来に実現可能だと考えています。

スマホとテレビ

スマホが台頭し、番組のウェブ配信が始まったことでテレビに費やす視聴時間自体は減っているものの、1億2千万人に視聴率15〜20%の番組、すなわち、その1時間なりの時間で1500万~2500万UUを相手にできるメディアはまだまだ大きな媒体です。 テレビというレガシー(だと思われていて)で参入障壁が高いレッドオーシャンにいつつ TV x Web は実はブルーオーシャンです。

もちろん、レガシーなだけに既得権益との政治的なあれこれはあるかと思っていますが、だからこそ・そこも含めて新しい市場を開拓することは面白いと思えています。

まとめ

下記3つをやってやるぞい！

  • データビジネスの本格的な立ち上げとマネタイズ
  • エンジニアチームのエンパワー
  • テレビとウェブに新たなケの視聴体験の立ち上げ

コードは少し我慢。

おまけ

エンジニアもプランナーもディレクターもほんと能力が高くて、30人ポッキリの会社によくこれだけの人材がいるなぁと思う。 エンジニアチームだけでも、立ち上げ時期だということを理解し、事業を実現するためという大目的に立脚した上で、開発が好きな連中が集まっていて、ディスカッションが常に前向きでとても楽しいです。 あと、酒が好きな人が多いので、個人的には最高の職場です。(転職して明らかにいい意味で酒の量が増え、健康診断があれだった)

HAROiD では仲間を超絶募集しています

www.wantedly.com

www.wantedly.com

自身の時間を使って勉強/自己研鑽すること(をどう広めるか

engineer education

どうも、7/1 付で HAROiD に入社しました muddydixon です。

三行

  • (こちらでもあがっていましたが) (特に)エンジニア組織のメンバに勉強して欲しい(自身のキャリアのためにも)
  • 言い方によってはパワハラ待ったなし
  • 困ってるので、「うちはこうしてるよ！」というのがある人は教えてください

経緯

先日、id:takesako さん、Speee の是澤さん や pixiv の 川田さん たちと飲む機会がありまして、その中の1つの話題に

エンジニアの自分の時間を使って自己研鑽するようにアドバイス (指示ではない) するか

というのがありました。

前職で OJT の受け入れや新人研修、若手の配属指導などをしてきたのですが、これがいつも自分の悩みのタネでした。

  • 自分の時間を使って勉強しろ -> パワハラっぽい
  • 自分の時間を使って勉強しなくてもいいけど、できそうなヒトの方が仕事ふりやすい -> パワハラっぽい
  • できないなりの仕事はある -> パワハラっぽい

と、パワハラは専門ではないのですが、なんとなく、アウト感が漂ってはいます。

なので、いつも僕は、「生き方は人それぞれだけど、世の中のすごいエンジニアたちは趣味と仕事の境界線が無くて、仕事以外の時間でも OSS を読んだり、自分のプロダクトを試行錯誤したり、時折それが会社のツールとして利用されて効率化されたりしているよ。僕はそういうヒトたちに憧れるし、そういう一人になりたいと思っているし、そもそもそういう創造的な活動は楽しいよ」という、伝わるんだか伝わらないんだかよくわからない感じのメッセージを伝えてきました。

その飲みの場では

  • ドライでいいじゃん
  • ロールモデルを示すんだよ(これがわりかしやってきたことに近い)
  • そもそもそういうことができないヒトを取らないことができないといけない

などの意見が出てきましたが、いかんせん飲みだったのでなんとはなしに次の話題に移ってしまいました。

結局、「これだ！」という妙案がないままでしたので、銀の弾丸がないことはわかっていますが、自社でやっているアドバイス・サジェストの仕方があれば、教えてください。

富士通クラウドテクノロジーズ株式会社 aka ニフティ株式会社を退職します

2017/06/28 14:00 追記 「富士通」が冠についたことは何一つ退職の原因ではありません(そうでなければ「面白い会社です！」とか書きません)。クラウドを作る側に回りたいヒト、クラウドをもっと便利に使うための機能を作りたいヒトは引き続きおすすめの会社の1つです

退職エントリを見るたびに「知らんがな」という思いと「全員に直接いうのも変だから便利そう」という思いの両方がありましたが、いざ、自分が退職することになると「全員と飲みましょう」とか無理だと気が付き「便利」となったので書くことにしました。

正確には「富士通クラウドテクノロジーズ株式会社」を退職するのですが、正直2ヶ月しか働いておらず「遅れたニフティ株式会社の卒業生」という気持ちしかないので以降「ニフティ」と記載します。

このエントリも消されるかもしれませんが、そのときは社会の闇だと思って下さい。

f:id:muddydixon:20170627151622p:plain

就職してからここまで

  • 博士課程満期退学の栄えある情報学修士として27歳の4月にニフティ株式会社入社。あっという間の11年
  • 3年めくらいから社外のエンジニア友達には社交辞令とは言え「まだいるの？」、社内の新卒からは「勉強会で見た muddy さんがなんでうちのような会社にいるんですか？」という失言に近い褒め言葉をいただく
  • いろいろあって7月から新天地に向かうことにしました。

技術系業務

  • 「IE をインターネット」と呼ぶお客様 に IP を配っている会社に勤めながら「自社検索ポータルの新機能を Firefox の Greasemoneky userscript」でリリース
    • 当然利用者は少なすぎて半年ほどでクローズ
  • 1年目でレコメンデーションエンジンの設計運用保守をしたり(mapreduce を利用しない HDFS のためだけの Hadoop の 0.1 系が入っていた)
  • AdSense の AB テストを実施して収益改善したり (リリースされなかったけど GA を使った広告改善をしたり)
  • バックエンドに Cassandra を利用した REST で perl のスクリプトをエンドポイントにバインドできる AWS Lambda のような仕組みを作ってリリース
    • Cassndara の GC で友人の結婚式二次会中に呼び出される
  • mongodb と hadoop の魔改造をする
    • mongo shell で mapreduce を書くと hadoop に渡され、 文字列の JS を rhino で mapreduce して結果を mongo driver 経由で返すシステム
    • このあたりで d3 を調べまくって一人アドベントカレンダーをしたり書籍の機会をいただく (coffee はいらなかった・・・
  • 某 EC サイトの広告効果測定ツールを企画設計開発運用する
  • MQTT as a Service を出したり、 Lambda みたいなやつをリリースしたりする

ニフティでの大半をデータシステムの設計開発およびデータ解析およびその利活用に捧げてきました

技術系以外

技術的な活動以外にも社内の技術文化環境に対するメタ的な取り組みも多く取り組むことができました。

  • 入社1年目に課長が入院してチームの先輩に指示を出しながら採用とか大学との連携を進めたりする
  • 社内勉強会を2年間でのべ100回以上の開催
  • エンジニアサポートとして社外勉強会への自社施設の提供をどこよりも速くプレスリリース
  • CROSS というどう考えても常軌を逸してるイベントを開催
  • 技術戦略委員会を立上げ自社の技術者の環境改善・文化改善に取り組む

www.nifty.co.jp

2017.cross-party.com

speakerdeck.com

NIFTY is

自分は非凡な人間では決してないですが、めんどくさい人間であることは自覚しています。そんな人間の居場所がニフティ社にはありました。ニフティ社は自発的な取り組みに対して真に寛容な「非凡」な企業でした。

自分にしかできない取り組みもあったと自負はしていますが、自分だけで実現できた取り組みはどれひとつとってもなかったと思っています。めんどくさい人間をそれなりに可愛がって下さった皆様には感謝の思いしかありません。「WIth Us, You Can」というニフティのコーポレート・メッセージは全く偽りがなく、「With Nifty, I Can」でした。このコーポレート・メッセージは最高すぎて、今後なんど転職するかはわかりませんが、自分の社会人生の DNA として多く広めていく所存です。

muddydixon.hatenablog.com

富士通クラウドテクノロジーズ

富士通クラウドテクノロジーズは引き続きクラウド事業/SaaS事業も世界を狙える位置取りをしています。

japan.zdnet.com

技術戦略委員会もこれまで以上に人財・環境・オペレーション・データ活用の4領域から全社の技術的側面を横断的な組織でフォローしていきますし、エンジニアの品質としてもここ数年ぐっと上がり、これまでの自社クラウドの効果的な利用に Slack / Gitlab / Gitlab CI / 自動テスト / ansible を利用したデプロイなどの他社と遜色ない環境で開発しています。

OSS にも理解を示し、 builders con のスポンサーにも入っています！

富士通本体のグループ名を持ちながら、ニフティだった時以上に(いい意味で)富士通らしくない企業になるはずでエンジニアとしては面白い企業だと思います。興味を持たれた方はぜひ下記からよろしくお願いいたします。

採用情報｜富士通クラウドテクノロジーズ株式会社

送別会で見られる心理的安全性の高さ

開いていただいた送別会は我ながらなんというか「僕らしい」というか「心理的安全性が高すぎて、みんな何言ってもいいと思われている」感じで溢れていました

f:id:muddydixon:20170627014351p:plain

どうかと思いますよ

www.facebook.com

送別会で送られる人間が挨拶している時にブーイングの嵐とか本当、みんな社会人としてどうかと思いますよ。大人なんでしょ！！(裏表なく可愛がっていただき、本当に幸せでした

なんで辞めたの？次は？

  • 飲み会で！
  • 6/30まで年休消化で 28 日が最終出社です。
  • 7/3 から新オフィスで勤務開始です！！

例の奴、そっと置いておきます。

【妄想】日本の流通にAmazonが入ってきたらどうなるか【夢】

poem

書こう書こうと放置していた妄想です。物流にカスル仕事はしてましたが、不勉強ですので本気で切られても困ります

日本の物流 ヤマト・佐川が amazon からの撤退が決定したのが4月。同月ドラッグストアなどを中心に独自物流を展開していく宣言。予測される未来はこんな感じかなあとぼんやり思ってる

基地としての amazon 倉庫が増える

  • amazon の日本の倉庫
  • 上記がもう少し増える。地方とかじゃないレベルで、県ごととか、人口ごとに階層的に基地ができる
    • この倉庫の最適化も物流網の整備や amazon fresh の利用率に応じて最適化される。なので、最初は関東・関西から

コンビニがバッファとして機能し始める

  • 倉庫は所詮、基地であり、もっと消費者に近いところの配送の最前線基地としてコンビニと結びつく
  • 日本のコンビニが牙を向いたら、待ってましたとコンビニ建設をする
    • もろもろコストを考えると「 amazon にとってよい値段で契約できるコンビニ」と提携できることを望んでるとは思うけど
  • コンビニがより本格的に下記の機能を担う/担うような設備を備える

コンビニの無人化機能が進む

www.meti.go.jp

  • コンビニの無人化が進む中で、そもそも多くの品は陳列されている意味すら失う
  • 生鮮食品のように品質の均一化が進んでいるとはいえ差が生まれる商品とくらべ、コンビニで買える多くの商品は工場で生産され(それこそみんなだいすきなAIが入って異常は検知される)、パッケージ化されるので「選ぶ」ということ自体が無意味になる
  • すでに amazon 依存度の高い諸氏に至ってはコンビニやスーパーで商品を眺めることと amazon を眺めることに大きな買い物体験の差異は生じてないはず
    • 生鮮のように「組み合わせて利用する商品」はセレンディピティによる買い物効果が高い
  • コンビニが一分機能とはいえ「巨大な自動販売機」になる日はそう遠くないと思う
    • 店員が棚に陳列する労働力を考えれば、ストッカーごとトラックから届いてセットすればよいだけの自動化が進んでもおかしくない
    • 万引きが実質的に不可能になるため防犯上の効果もある
    • そのときには RFID タグは翻って不要になるけど
    • 物流のダンボール等の均質化も進む
      • どっちかというとダンボール自体に RFID が貼られて、トラック内の RFID センサによる配送におけるミス(誤配送/出荷漏れ)がなくなるコストも減じることができる
    • オペ改善によりバックヤードの面積を減らして倉庫面積を増床できる

コンビニがそもそもコンテナになる

  • 無人化/自販機化に伴って「店内」「倉庫」という概念がなくなり、商品の補充自体が容易になる
  • 結果、コンビニ自体が倉庫の機能を担うコンテナと化す
  • 配送基地から最適化された品を詰めたコンテナを運び、トレーラーからコンビニのバックヤードに直接降ろされる
    • 空になったコンテナは持ち帰る
  • 配送基地としての機能は継続/強化される
    • コンビニ商品のコンテナと同時に近隣の amazon 商品配送の中継基地として機能する
  • 当然この流通網を効率的に利用して、自宅配送希望の商品は配送する

人類の「クラウド的なストレージ」としてコンビニが利用され始める

  • 「誰がいくら買ったか」がクラウド上で管理されているので、顧客は一括で持って帰る必要すらなくなる
    • 「毎月10kg買っている米」を「先々週、休日に歩いて行ける近所のコンビニで3kg」だけ引き取って、「今週は駅からの帰路にあるコンビニで5kg」受け取る、といった「オンデマンド」な「クラウド的」な商取引が始まる
    • 「一升瓶を持って醤油を買いにいく」ような感じ

物流のクラウド化がサービス化される

  • ここまで自社のための物流網および物流に関する仕組みを革新してきたものを、 AWS のようにサービス化してより安価で使いやすいものとして提供する
  • uber の荷物配送の新サービスにおける中長距離配送で利用される

ディストピア

  • 20枚の年賀状を amazon がでかい箱で持ってくる
  • 収入の3割を生活費として amazon に払う
  • 彼女の家の近所のコンビニで味噌を買ったら「あなたがいるはずのない地域から買ってますがクラッキングですか？」とメールが飛んできて余計なお世話
  • amazon 銀行爆誕
  • 電気代等の光熱費を amazon の請求から払う
  • 結婚式を amazon で買って支払ったら「買うはずがないけど、クラッキングですか？」とメールが(ry
  • 学資保険を amazon で買って支払ったら(ry

参考