Snowflake

こんにちは、アイダです。 Snowflakeは従量課金制のシステム。使った分だけ秒単位で課金されます。 エンジニアのSは、オンラインの集計システムにてピーク/ボトムに応じたリソースの調整を担当。工夫により費用を抑えることに成功しました。 今回は、Lambdaを使ったSnowflakeのリサイズについてSさんが投稿します！ はじめに 集計システムについて 処理フロー 特徴 アーキテクチャ リサイズの処理フロー １．CloudWatchEventのcronでLambdaを定期実行 ２．LambdaでECS、Snowflake ウェアハウスのリサイズ はじめに インテージテクノスフィアのSです。 現…

こんにちは！トーフーです！ 東京は暖かいのでまだ秋の気分でしたが、 もう12月半ば！！！ 雪は降っていませんが、「Snowflake」って何？？ 政治的な意味もあるの！？

こんにちは。インテージテクノスフィア技術ブログ担当アイダです。今回の投稿は冬にふさわしい投稿です。リサーチテクノロジー本部のKさんは現在インテージの基幹システム担当なのですが、今回導入するDWH「Snowflake」について投稿いただきました。snowflake推しの熱い投稿をどうぞ！ 「Snowflake」って？ 普通のDWHと何が違うの？ アーキテクチャ 3.ストレージレイヤー 2.コンピュートレイヤー ローカルキャッシュ スケールアップ/ダウン・スケールアウト/イン 自動レジューム/サスペンド １つのDBに対し複数VWからアクセス 1.クラウドサービスレイヤー ワタシのお気に入り機能トッ…

こんにちは。 これまた、通勤中に読んだ記事から。 «Snowflake» 雪の結晶と言う意味の他に新しい意味があるそうなんです。 自分も初めて聞いた(読んだ)んですが。 新世代の若者の中でも、色んなものが与えてもらえる事が当たり前で、努力をしない、知らない、そんな若者たちを意味するのだそう。 Company introduces ‘snowflake test’ to weed out ‘whiny, entitled millennials’ https://t.co/uHw0nxgjz2 — Metro (@MetroUK) 2017年3月27日 どうだろう。 今の若い人達だけに当てはまる…

前回の記事から2.5年くらい経過したので近況を書いてみます。 kurochan-note.hatenablog.jp そろそろ何をやってきたのか忘れそうなので振り返っておくのと、今思っていることについて雑多に書き出しておきます。 今回はちょっと長めなので目次を作っておきました。 目次 サイバーエージェントでの6年間 給料の話 暇にさせてくれない上司と会社 技術選定の自由という名の動物園 採用には全力を尽くす 挑戦した敗者にはセカンドチャンスを 次は何をやるのか さいごに サイバーエージェントでの6年間 既に細かいことをわすてしまっているような気がするので印象的な出来事だけ列挙してみました。 2…

コロナ禍によるライフスタイルの変化によって家族が家で過ごす時間が増えて、特に台所仕事が増えた～と感じている方…私もそうなのですが… 重い鍋を使うのがしんどくなったりしていませんか？ フライパンを持つと手首に痛みを感じたり。 その上パソコンでの仕事で目からくるのか肩こりやら、キーボードをたたく指の筋がこわばるとか、なんだか腕全体が「だるー」って感じで。 消炎剤を塗ったり、ストレッチをしたり都度ケアをしているつもりなのですが、疲労感がだんだんと溜まってきて… …年齢によるものなのかもしれませんが💦 で、これで何が困るかと言うと…たまのお出かけの時のバッグの重さがもうずっしり感じるようになってしまい…

はじめに スクリプト 1. Amazon VPC Flow LogsがAmazon Athenaと統合可能に 2. AWS BatchがジョブレベルでEFSボリュームをサポート 4. CloudFormationでAWS Budgets予算アクションのサポートが可能に 5. Amazon Comprehendが、カスタムモデルに対するIAM Condition KeyとCMKのサポート 6. JDBCをサポートするデータベースや、Amazon Redshiftのデータを、AWS Glue DataBrewで使用可能に 7. AWS Firewall Managerで、AWS WAF Bot C…

こんにちは。 過去のラジオ音源より、2007年9月6日放送のラジオ『ON8』の文字起こしもこれがラストです。 ゲストの智くんは終始ゆるりとしたトークで、聴くとなごんでしまいます💙 ラストのパートでは『黄色い涙』の裏話もちょこっとありました♪ ゲストとして映画を紹介しているため、ほかの媒体でも何度か取り上げられていたエピソードでしたけど。 次こそ、テレビ番組の文字起こしをしようかな？ 実は、2020年末の嵐さんの番組、怒涛の露出に何本かは詳しくレポできていないので、ずっと気になってます💦 いや、それは1年ぐらい寝かせて、今年の年末にでも文字起こししてみようかしら⁉ 考えときま～す😊 2007年9…

我が家の周辺では、そろそろさくらも終わりかけです。 今の状態はコチラの絵本のようです😊 ロッタちゃんと じてんしゃ (世界の絵本) 作者:アストリッド=リンドグレーン メディア: 大型本 実は絵本好きで、リンドグレーンは大好きです。 どのお話しもワクワクします。 今年は週末の雨にも負けず、長い期間さくらを楽しめることができたように思います。 桜の季節を惜しんで、ピンクのお品物を並べてみます😊 空気のように軽やか★シンプルなリバーシブルトートバッグ【ピンク系／リバティWiltshire（ウィルトシャー）生地使用】 トートバッグ snowflake＊スノーフレーク 通販｜Creema(クリーマ) …

3月は降り積もる雪に埋もれて死んで、誰も助けに来ずに倒れてる間に36協定を超えていたらしく、僕の死は今後語り継がれることになりました。 狂った会社だとは思うけど、残業代がちゃんと出ることと、僕の死を隠蔽しないところはフェアな会社だと思いました。どうかこの死を無駄にしないで欲しいです。 僕もこの人生を忘れないために、時計を買ったんです。時計の話です。 ameblo.jp 海外でスノーフレーク（雪の結晶）というニックネームがついている文字盤はとても綺麗で、見るたびに倒れてもなお、雪の降り続けたあの雪原を思い出します。 Remember Snowflakeです。 値段を見て意味わかんないなと思った方…

こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想し…

これから卒業までは授業が週に1回程度・卒業後の進路も決まり、時間に余裕があるので、最近はMBAで受けた授業の内容を脳内の引き出しに整理して収納する作業を進めています。せっかくなので（自分にプレッシャーをかけるために）、ここに各授業の簡単なまとめを整理していきたいと思います。基本的には自分の脳内目次用です。 まずは個人的には一番面白かったDigital Investingの授業から。

布の色に合わせた糸選びが楽しい今日このごろ。 snowflake0123.hatenablog.com それを見ていただいたのか、そうでないのか…愛用しているミシン糸「シャッペスパン」のフジックス様より 「100th anniversary オリジナルシャッペスパン缶」いただきました！！！ 嬉しい♬ 会社創立100周年を記念してのイベントで主力商品をモチーフにした缶をユーザーにプレゼントという企画。 楽しくなりますよね。 缶に入っているミシン糸はもちろんシャッペスパン。 深めのグリーンとちょっと濃い目のベージュ。 新しい布に色を合わせたらまたまた増えてしまいました💦 これからもシャッペスパンコ…