ETLツール

オープンソースのETLツールとして有名なTalend の無償試用版である Talend Open Studio を使用しようとしたところ，実行するまでにはまったので，インストール手順も含め記事にしました．結論からいうと，Talend側の言語設定が日本語だったことが問題で，英語にすれば問題無く実行できるようになりました． ※こちらは2022/2/22時点の検証結果になります． インストール環境 事前準備 Java環境の構築 Talend Open Studioのインストール インストール環境 下記の環境にインストールを試みました． Windows 11 Home 事前準備 Java環境の構築 T…

お疲れ様です。コーヒーです。 前回はEmbulkのインストール方法について解説いたしました。 stady-diary.hatenablog.com 今回はEmbulkの簡単な使用方法を解説していこうと思います。 EmbulkのQuick start Embulk公式のお試しプログラムで基本的な使い方を覚えることができるため、そちらを元に解説していこうと思います。 https://www.embulk.org/ 1.exampleの実行でお試しファイルの作成 embulk example ./try1 上記コマンドを入力することでサンプルのcsvファイル(sample_01.csv.gz)と実行…

お疲れ様です。コーヒーです。 前回はEmbulkの概要について解説いたしました。 stady-diary.hatenablog.com 今回は実際にEmbulkのインストール方法を解説していこうと思います。 Javaのインストールについて Embulkのインストールする前に、Javaのインストールが必要となります。 Javaをインストールするに当たって注意すべきポイントとして「Java 8」をインストールしてください。(2020/10現在) それ以外のバージョンでは、対応していないため気をつけてくだい。 インストールは以下のページからおこなえます。 http://jdk.java.net/ イ…

はじめに お疲れ様です。DX推進開発部です。 みなさんは「Talend」というETLツールをご存知でしょうか？ 以前参加したプロジェクトで初めてTalendによる開発を行いましたが、 なかなか新鮮だったので今回のテーマに選んでみました！ ETLツール Talendとは ETLとはExtract(抽出)、Transform(変換)、Load(集積)の頭文字です。 必要なデータを「抽出」し、分析しやすいように「変換」を施してDWH(データウェアハウス)に「集積」するというデータ統合のプロセスを表しています。 ETLツールを使用すると、企業が集めた様々なデータを加工して一元化し、活用することが出来ま…

はじめに Iceberg とは？ Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない！！！ 次へ はじめに 当記事を開いていただきありがとうございます。電通総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します。 BigQuery で Iceberg 形式のデータを作成し、実体ファイルの中身をお見せすることで、Iceberg が一体どういうものなのか実感を持つきっかけに…

はじめに この記事はFindy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Toolsは、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介 システム設計の目標、要件 今回の構築では、「Findy Toolsを訪れたユーザーの行動ログと…

CTOをしております、村上です。 先日、フロントエンドの勉強会の初回記事を掲載させていただきましたが、 そのバックエンド版の初回となります。 フロントエンド版と同様に担当制で、各回の担当者には議論したいアジェンダとその材料を持って来てもらいます。 業務に完全に直結するものは業務でアウトプットすると思うので、世の中で話題になっているものや自分の中で興味が出ているものなどを想定しています。 ただ、業務と少しずらしていれば問題なしです。 techblog.elw.co.jp ゼロ ETL 統合により、トランザクションデータまたは運用データが Amazon Redshift でシームレスに利用できるよ…

この記事はenechain Advent Calendar 2024の11日目の記事です。 はじめに enechainのデータプラットフォームデスクでエンジニアをしている菱沼です。現在はデータエンジニアとしてデータ基盤の構築をしています。 社内で活用できるデータ量が増加し、データ活用の場面が多様化する中で、業務の現場でデータをいかに効率的に活用できるかが重要な課題となっています。 本記事では、Google CloudのiPaaSであるApplication Integrationを活用し、 BigQueryからSalesforceにデータを連携する仕組みをどのように設計・実装したかをご紹介しま…

海外利用時のiPhone設定注意点 Python 3.13のUnicode変更点 長時間処理の通知方法 日本の年収103万円の壁問題 アクセンチュアの生成AI戦略 Linuxシステム速度低下の原因特定コマンド ソブリンクラウドの現状と課題 Windows 11のシステム要件に関する報道への公式見解 WebサイトをアプリとしてインストールするChrome/Edge機能 AmebaのAurora MySQLコスト削減事例 AWS re:Invent 2024 セッションレポート：テナント分離戦略 アマゾンの独禁法違反疑惑に関する公取委調査 省エネエアコンの開発とGAIR関連技術の電力消費削減目標 …

Park Directを支えるデータ基盤の構成 〜2024年12月版〜本記事はニーリーアドベントカレンダー2024の5日目の記事です🎅 はじめに こんにちは。Analyticsチームの上田です。 当チームは、2024年3月にチームの概要を紹介するnote記事「データ分析の宝庫を前にして〜Analyticsチーム1年目の取り組み～」を公開しました。その記事ではチーム発足後間もないデータ基盤の構成を紹介しました。それが図1です。 図1: 2024年3月時点のデータ基盤の構成 当時は連携しているデータソースがZendeskのみで、極めてシンプルな構成でした。 その後、事業や社内のニーズに応える形で様…

こんにちは。ノバセルにてデータエンジニアをやっている山中(@yamnaku_)です。 本記事では、「マルチデータプロダクト」へ向けたノバセルのデータ基盤アーキテクチャの変遷と、その過程で得られた知見をご紹介したいと思います。 この記事は ノバセル Advent Calendar 2 日目です。 はじめに ノバセルでは、「マーケティングを民主化する」というミッションのもと、お客様の広告効果の可視化や最適化のサービス群を展開しています。 これらのサービスでは、データを用いた合理的な意思決定ができるよう多くのデータを活用しています。一例を挙げると以下のようなものがあります。 サイト訪問データ Web…

アソビューのデータ基盤チームでデータエンジニアをやっている米澤です。 本日は私が所属するチームで日夜使っている、ETLツール「TROCCO」に最近追加された「TROCCO API」機能を使ってみた雑感をまとめてみたいと思います。 TROCCO とは TROCCO API とは TROCCO APIの使い方 使う上での注意点 契約プラン カスタム変数 ステータス管理 活用事例 まとめ TROCCO とは まずはツールのご紹介。 TROCCOは、primeNumber社が提供する国産のETLツールです。 会社内でデータ基盤を構築するデータパイプラインを開発する上で必要な基本機能は揃っていると思いま…

こんにちは！エンジニアの岩松です。最近キャンプにハマってしまい、隙あらばキャンプに行ったり公園へピクニックに出かけているためインドアを自称するのが難しくなってきました。 今月はQAエンジニアの方がAssuredへジョインしたのですが、もともと同じチームで働いていたこともあったので8月の記事に引き続いて集合写真を撮ってみました。 昔の仲間とまた働けるのは嬉しいですね！ また、以前TECH PLAY様のイベントで登壇をしたのですが、そこで参考文献として引用した「ドメイン駆動設計をはじめよう」にて翻訳をされた増田 亨さんにも取り上げていただいていたようです。同氏の著書も昔から参考にしていたため、とて…

自動化推進においてRPA依存はコスト増と不安定化を招くため、APIやDB接続など他の手段を積極的に活用することが重要です。RPAは最終手段と位置づけ、戦略的な自動化環境の構築を目指すことが望ましいです。まずは、自社の自動化アーキテクチャを整理し、効率的な仕組みへの改善を図ることが必要です。 qiita.com 要点 自動化推進が二極化し、一部の企業はRPAに過度に依存している。 RPAの限界：保守コストが高く、システム変更に影響を受けやすい。 代替策：API、DB接続、ETL、BIなど、より安定的な自動化手段の利用。 脱RPAへの取り組み：適材適所でRPAを活用しつつ、中長期的には脱RPAを目…

favyとは？favyは、話題のグルメ・ご当地グルメ・ラーメン・カフェなど、全国の美味しいお店に関する情報が集まるグルメメディアです。飲食店経営に役立つ情報を紹介するメディア『飲食店サポート』といった認知獲得・集客に強みのあるメディアを運営しています。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99％のWebスクレイピングを満たします。ScrapeStormにより、大量のWebデータを素早く正確的に取得できます。手動でデー…

digi-mado.jp 目次 この記事でわかること ✔ 離脱率と直帰率の定義や計算方法の違い ✔ 業界別・コンテンツタイプ別の離脱率の平均値 ✔ 離脱率を改善するための具体的な施策とABテストの活用方法 ✔ 離脱率改善のための最新ツールと技術の紹介 ✔ 離脱率改善施策の効果測定と長期的な改善戦略の構築方法 離脱率 平均は、ウェブサイトパフォーマンスを測る重要な指標です。しかし、業界やページタイプによって平均値が異なるため、一律の基準を持つことが難しいことも事実です。本記事では、離脱率の平均値や業界別の違い、また効果的なABテストの方法を通じて、離脱率改善のステップを解説します。 1. 離脱率…