DWH

こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dim…

これは Livesense Advent Calendar 2022 DAY 10 の記事です。 年末のお掃除捗っていますか？我が家では窓掃除にWV1が大活躍しています。 データエンジニアの毛利です。サービス横断のデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 背景 データ利用状況の可視化 テーブルの利用状況 Redshiftユーザーの利用状況 運用してみてわかったこと 最後に 背景 データを提供したものの、気がつくとほとんど使われていない、というのはよくある話だと思います。 LAでも様々なデータを提供できるように機能追加してきた結果、日々デ…

目次 目次 はじめに ハイパースケーラーのDWHサービス 性能とコストパフォーマンス比較 Microsoft AWS Google Oracle DWHのシステム特性とは？ 処理性能以外の使い勝手 第三の選択肢 まとめ はじめに 2022年のタイミングで新規にデータ基盤を構築しようとする時、皆さまは実行基盤をどこに置かれるでしょうか。一昔前であればオンプレミスのデータセンターにDWHのパッケージ製品を導入することが主流であったかと思いますが、ハイパースケーラーのクラウドサービスが隆盛を極めるようになり、コンピューティングリソースのスケーラビリティやほぼ無限のストレージ拡張性、マネージドサービス…

こんにちは。FLINTERS BASE 開発部 小杉です。 4月に入社したのち、7月に配属され早3ヶ月目。今回はデータウェアハウス（以下DWH）におけるデータモデリングで使用する非正規化とスタースキーマについて書きたいと思います。 研修で学んだのに既に忘却の彼方へ飛んでいる箇所もあったので、基本的な話も振り返りながら書きたいと思います。

この記事はRetty Advent Calendar 2021の22日目の記事です。 adventar.org Retty分析マネジャー平野（@MasaDoN22）です。 今年で4作目の”Retty分析チーム振り返り記事”です。（過去記事：2020年 / 2019年 / 2018年） 今年は、去年今年を通した仕込みや直面する課題に向き合った結果、さまざまな変化がありました。特に大きい変化は次の3つです。 変化①：”Data-Driven”から”Data-Informed”な意思決定に 変化②：”個人の集まり”から”自立自走するチーム”に 変化③：”データの民主化”から”分析の民主化”に この記…

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected（以下KDX）でデータ分析周りのお仕事をしています。この世界はジョブチェンジが激しいですね。 しばらく開発に関与していたドワンゴ・KADOKAWA向け新データプラットフォームの初期リリースに成功したので、この記事ではその話を書きます。KDXのデータエンジニアリングに関する取り組みのほんの一端ではあるのですが、なんとなく雰…

DWH.CDP.DMP いずれもデータを集めて管理するためのプラットフォーム それぞれ目的が異なっており、機能にもそれぞれ違いがあるのでまとめてみた。 DWH→データを効率的に収集できる。時系列順に並べたり、データの変更も把握も可能。膨大なデータを適切に管理し、日々発生する業務の履歴も残しておける。 ※データウェアハウスの略で、大量なデータを蓄積.保存する大規模なデータベースのこと。 データベースとの違いは、ストレージの容量が多いのと分析に最適。 CDP→連携いている複数のチャンネルを横断しながら、顧客データの収集ができる。顧客の行動もトラッキング出来、デジタルデータを有効活用しながら分析が出…

みなさん、Snowflakeは使っていますか？ 極めて合理的で高い性能を持っているDataWareHouse、Snowflake。 弊社ではメインのDWHとして採用し、その性能に非常に満足しています。 今回はSnowflakeで連番を作るのにサンプルとしてよく使われているSEQ関数について書きます。 SEQ関数の前にまずはGENERATOR SEQ関数で連番を使うために、まずはGENERATOR関数について説明します。 GENERATOR関数は関数リファレンスでは「行を作成します」と書かれています。まさにこのとおりなのですが、「列を持たない」というキーワードを追加するともっとわかりやすいかも知…

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきます。 先行して弊社小野寺より AWS アーキテクトがはじめて Google Cloud で静的 Web ページを配信した話も公開しておりますので、こちらも是非ご覧ください。 当ブログは G-ge…

RNN RNNは時系列データ処理に適したNNで、1時刻前のリカレント層の状態を、次の時刻のリカレント層へ伝播する.RNNの課題：入力された情報の影響が長期的に及ぶ場合と短期にしか及ばない場合を区別できない (LSTM). # RNNレイヤの実装 class RNN: # 初期化メソッドの定義 def __init__(self, Wx, Wh, b): self.params = [Wx, Wh, b] # パラメータ self.grads = [np.zeros_like(Wx), np.zeros_like(Wh), np.zeros_like(b)] # 勾配 self.cache = …

[Publisher] TechBullion この記事はTechBullionのAli Bajwaが執筆し、Industry Dive Content Marketplaceを通じてライセンスされたものです。ライセンスに関するお問い合わせはlegal@industrydive.comにお願いいたします。 「データは新たな石油」と言われるなか、ほとんどすべての企業や組織がデータから価値を引き出す方法を模索しています。アメリカで全企業の98％を占める中小企業も例外ではありません。ただし小規模な企業は、大企業と比べて使えるリソースが少ないもの。中小企業がデータに基づいて成長するためには、大企業とは…

データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか？どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇‍♂️) 第1回: DataVaultってなに？どんな特徴があるの？ ← 今回はここ 第2回: dbtvaultを使って実際にDataVaultモデリングでテーブルを作ってみた 第3回: BusinessVaultの使い所や特徴的なSatelli…

こんにちは、安くて速いネット回線を紹介しているこーいちです！ 今回は、光回線の「OCN光」が現在やっている7か月無料キャンペーンの詳細と、メリット&デメリットについて解説します。 光回線の中でもかなりお得なキャンペーンですので、ぜひ最後までチェックしてください。 OCN光モバイルセット割の詳細 OCN光モバイルセット割のメリットについて 7か月無料はかなり大きい 回線工事費も完全無料 乗換えでもOK OCNモバイルONEも普通におすすめ デメリット面を解説 2年の自動更新縛りがある 月額料金はやや高め Wi-Fiルータープレゼントはない スマホとセット申し込みしなくていいおすすめの光回線 OC…

1: 爆笑ゴリラ ★ 2023/01/18(水) 08:53:58.40 id:mFzmXEpC9 1/17(火) 18:50配信 デイリースポーツ ＮＨＫ党のガーシー（本名・東谷義和）参院議員が１６日付でインスタグラムに投稿。米ホワイトハウスで日米首脳会談後に岸田文雄首相が会見する傍らで、木原誠二官房副長官がポケットに手を突っ込んで上方を見上げている画像などをアップし、ストーリーに「ガラ悪ーｗ 日本のドンやと思ってるんやろな」と投稿した。 報道メディアに向け「マズゴミさん叩くべき相手は他にもおるんちゃいまっか？」とも投稿した。 本投稿では木原氏について「思わず態度にでてもーたんやろ笑笑日頃そ…

SRE の @s4ichi です。年が明けてしまいましたが、昨年 11 月の終わりから 12 月の始めに開催された re:Invent 2022 へ現地参加してきたため、足を運んで得てきた体験をレポートとしてお届けします。今年もクックパッドから総勢5名の社員が参加してきました。 クックパッドと AWS re:Invent クックパッドでは 2011 年ごろから AWS の各種サービスを利用しています。当時のサービスを AWS に移行するところから始め、かれこれ 10 年以上 AWS をコアに利用してきました。 re:Invent へは 2012 年から社員が参加しています。コアに利用するサービ…

フイルムメーカーが化粧品を作ったり、飲料メーカーが健康食品を販売したりと複合的に事業を行う企業が珍しくない。私が好きなPC関連サプライ商品の世界でも、そういった動きが出てきたようだ。 エレコムが作った「IHクッキングヒーター」 マウスやキーボードなどの商品で有名なエレコムが、PC関連サプライではなく調理器具「IHクッキングヒーター ホットプレート」を発売した。一見すると小型のホットプレートのようだが、調理から食事までの時短ぎ図れる商品だ。 通常のホットプレートでは調理後にお皿に移すか、取り皿に取って食べるというのが一般的だ。また、フライパンで調理した場合でも同様で、調理器具とお皿などの洗い物が…

はじめまして！ 2022年10月入社の安部と申します。 3ヶ月の研修期間を通して学んだことや感じたことをまとめてましたので、最後までお読みいただけると幸いです。