基盤構築

こんにちは、アイダです。 今回は、Snowflakeのユーザー向けに、情報を集めました。活用事例の動画や資料をお届けします。それではHさん、どうぞ！ こんにちは。Hです。 先日、2021月4月21日 にSnowflakeのユーザーコミュニティである SnowVillageのイベント「#SnowVillage Live 007」のYoutube Liveでお話をしてきました。 我々のチームでは2019年の夏からSnowflakeを利用したプロダクトの開発をしており、これまでもこのブログで色々と開発で得られた情報をご紹介してきました。 www.intage-ts.com www.intage-ts…

こんにちは、アイダです。 膨大なデータ処理を高速で実行するクラウド型データウェアハウス（DHW)として注目を集めている Snowflake。 より高速化するため、クラスタリングキーのチューニングについて担当したエンジニアのHが投稿します。 それではHさんどうぞ。 はじめに よくありそうな集計の流れ クラスタリングキーを定義することについてのメリット はじめに インテージテクノスフィアのHです。 現在、全国のスーパーマーケットやコンビニなど、小売店の販売データの集計システムを開発しています。 今回は我々のシステムの集計基盤であるSnowflakeのクラスタリングキーを用いたクエリチューニングや使…

こんにちはアイダです。2020年11月のイベント「DATA CLOUD SUMMIT 2020」(Snowflake社主催) にて、Snowflake導入によるデータ基盤開発の成功事例をお話しました。 今回はプロジェクトに関わった技術者Aさんが、Snowflakeの注目機能であるCloneを使った、データ更新のお話です。それではAさんどうぞ！ はじめに データ更新に関する要件 Cloneを使ったデータ更新 はじめに インテージテクノスフィアのAです。 現在、全国のスーパーマーケットやコンビニなど、小売店の販売データの集計システムを開発しています。 今回はSnowflakeのCloneという機能…

こんにちは、アイダです。 Snowflakeは従量課金制のシステム。使った分だけ秒単位で課金されます。 エンジニアのSは、オンラインの集計システムにてピーク/ボトムに応じたリソースの調整を担当。工夫により費用を抑えることに成功しました。 今回は、Lambdaを使ったSnowflakeのリサイズについてSさんが投稿します！ はじめに 集計システムについて 処理フロー 特徴 アーキテクチャ リサイズの処理フロー １．CloudWatchEventのcronでLambdaを定期実行 ２．LambdaでECS、Snowflake ウェアハウスのリサイズ はじめに インテージテクノスフィアのSです。 現…

こんにちは、Sansan Engineering Unit 部長の笹川裕人です。今回で8回目を迎える「Sansan Tech Talk」では、Sansanのテックリードが日々取り組んでいる技術的な課題や挑戦を深掘りしてお届けしています。今回は、研究開発部のArchitectグループで活躍する加藤慶彦にインタビューしました。▼連載記事はこちら buildersbox.corp-sansan.com

グーグル、グリーを経てクービックを創業。EXITしたのち、2023年12月にJMDC執行役員に就任した倉岡さん。現在はプロダクトマネジメント体制構築から、PHRサービス「Pep Up(ペップアップ)」をはじめとするサービス・プロダクト事業グロースに携わっています。 倉岡さんはJMDCを「豊富なヘルスビッグデータを蓄積する高いポテンシャルを持つ会社」と評価する一方で、プロダクトを通じてデータを活かした価値提供をすることにより、より直接的にユーザーや社会に役立てることができるのではないかと考えているそうです。 「データとICTの力で、持続可能なヘルスケアシステムを実現する」が当社のミッション。ヘル…

ユーザー名を含むURL設計に関する考察 todo.txtを用いたタスク管理 2024年生成AI技術の進歩 TwilogとTogetter統合によるWebサービス存続 IPv6プライベートアドレスに関する考察 VSCode効率化テクニック 北米ソフトウェアエンジニアの面接選考プロセス AWS EC2踏み台サーバー構築ガイド 大規模データ分析基盤構築における落とし穴 文学フリマとKDP出版 Laravel 11とAWS Lambdaを用いたAPI開発 エンジニアによる事業成果の定義 高知信用金庫の次世代基幹システム開発 高知信用金庫の次世代基幹システム開発（日本経済新聞記事） オンライン資格確認シ…

はじめに この記事はFindy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Toolsは、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介 システム設計の目標、要件 今回の構築では、「Findy Toolsを訪れたユーザーの行動ログと…

先進国で遅れている日本の世界での競争力アップのためにすべきことを生成AIに聞いてみた はじめに 世界経済フォーラムが発表する国際競争力ランキングで、日本は2023年に34位まで後退しました。かつて世界第2位の経済大国として君臨した日本が、なぜここまで競争力を失ってしまったのでしょうか。そして、この状況を打開するために何をすべきなのか。本記事では、最新の生成AI技術を活用して、日本の競争力回復のための具体的な方策を探ってみました。 1. 日本の競争力低下の現状分析 1.1 データで見る日本の現状 世界銀行の統計によると、日本の労働生産性は主要先進国の中で最下位クラスに位置しています。2022年の…

この記事は HowTelevision Advent Calendar 2024 15日目の記事です。 株式会社ハウテレビジョンのPlatform Engineeringチームで主にデータエンジニアをやっているEngineer Managerの縄司です。インフラ基盤やデータ基盤のアップデートを通じて、日々の運用の課題を改善しながら、プロダクトの成長を支えています。 本記事では、今年取り組んだEKSのアップデート、Aurora MySQLのメジャーアップデート、そしてデータ基盤整備のプロジェクトについてまとめます。 EKSのアップデート：基盤の安定性を維持するための計画的な対応 EKS（Amaz…

本日ご紹介する銘柄は以下のとおりです 銘柄：のむら産業証券番号：7131 ★結論：現時点では、”割高”です。 割安の定義=利回り3.5%超えるものとする割高の定義=利回り3.5%を下回るものとする テーマ：・eコマース・包装機械 特徴：・業界トップの地位：米穀包装資材と機械の企画・販売で業界トップ・安定したビジネスモデル：計量包装機とそれに対応した包装資材の販売によるストックとフロー型の安定したビジネスモデルを構築・強固な顧客基盤：スーパーやコンビニ、大手外食チェーン店など多岐にわたる約2,700社の顧客基盤 株価：1640円 時価総額：22億円利回り：3.44%PER：6.61倍PBR：1.…

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…

ただいま成長中！ ランキング参加中育児・子育て ランキング参加中障がい児の育児・子育て にほんブログ村 ↑この記事がいいなと思ったらポチっと！ このシリーズでは、知的障害があるわが子キチノをより成長させるためにきちほーしが療育にトライする様子をお話します。 同じようにお子さんを療育したい親御さんのご参考になればと思います。 関連記事 連絡方法をマスターしよう： はじめてのスマホ！（つづき） 問題点の整理 ChatGPTさんに聞いてみた ChatGPTさんの回答を吟味する 問題１の回答 おまけ 関連記事 とうとうダンスを… 1- 知的障害キチノ療育日記（'24/11）1 とうとうダンスを… 2-…

これは Livesense Advent Calendar 2024 DAY 4 の記事です。 概要 はじめに 以前の分析基盤 現在の分析基盤 少し未来の分析基盤 最後に 概要 技術部データプラットフォームグループでデータエンジニアをしている富士谷です。 さて、11/28に開催されたやってやったぜ！技術的負債解消 LT会 〜コードの整理整頓から未来の基盤構築まで〜（yabaibuki.dev #3）で発表しました。 発表資料を抜粋しつつ、簡単に内容を紹介します。 はじめに speakerdeck.com リブセンスのデータ基盤は大きく分けて、収集・蓄積などデータ分析が主目的のLivesense…

こんにちは！ 2024 年新卒入社、アプリ開発支援部の涌井と小林です。 先日、FlutterKaigi 2024 に参加してきましたので、その内容をレポートします。 ※この記事は、アドベントカレンダー12月4日分の記事です。 qiita.com 目次 FlutterKaigi の概要 参加した経緯 セッション ネットスーパーがスクリーンリーダーに対応した話 〜あるいはアクセシビリティ向上によるユーザー獲得〜 Effective Form ~ Flutter による複雑なフォーム開発の実践 ~ Flutter と難読化 Figma Dev Mode で変わる！Flutter の開発体験 Flut…

こんにちは。 以前データサイエンティスト転職の概要を解説しましたが、今回は企業選びや面接対策について解説します。 今回の転職のサマリはこちらからどうぞ!! www.psycheng.com DS職の志望理由 実際に受けた企業たち アドバイス 選考は辞退するな DS職特有の面接対策をする DS職特有の逆質問をする 望ましい実務経験を積む 転職エージェントの活用 第一志望なら自分から言うべき 企業のニーズと不安を意識 まとめ DS職の志望理由 このブログでも書いていますが、私は民間企業で心理系の研究職をしていました。妻と同居するために転職せざるを得なくなった…というのが本当の転職理由。 普通なら現…