データ変換

COPY コマンドで Redshift にデータロード時に無効な UTF-8 文字がある場合、ACCEPTINVCHARS で固定の文字列に置換することができる。 ACCEPTINVCHARS [AS] ['replacement_char'] データに無効な UTF-8 文字がある場合でも、VARCHAR 列へのデータのロードを有効にします。ACCEPTINVCHARS を指定した場合、COPY は replacement_char で指定されている文字列から構成される同じ長さの文字列で、無効な各 UTF-8 文字を置き換えます。たとえば、置換文字が '^' である場合、無効な 3 バイト文…

こんにちは！ STORES でデータエンジニアとして、データ基盤の開発運用を担当している@ssxotaです。 STORES には2024年の1月に入社しました。 前職ではデータレイクの立ち上げや、データを利用したプロダクトの開発には携わってきましたが、 本格的なデータ基盤を扱うのは STORES に来てからが初めてでした。 チームのメンバーに助けて貰いながら業務に取り組んでいたら、光陰矢の如し！あっという間に8ヶ月が経っていました。 今回は私が入社してからの間でキャッチアップした STORES のデータ基盤の全体像を説明したうえで、今後の展望を紹介し、STORES のデータ基盤の今をお伝え出来…

はじめに dbt（data build tool） Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱点を補完してくれるので、非常に便利です。 さらに、Snowflakeの外部アクセス統合を使うことで、APIを叩いて外部のデータを取得することも簡単に実現できます。これにより、さまざまなデータソースをシームレスに取り込むことが可能になります。 本記事では、dbt Python modelとS…

2024年8月27日に、QYResearchは「高速データ変換機―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、高速データ変換機の世界市場を分析し、主要企業の総売上高、収益、価格、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019年から2030年までの高速データ変換機の市場規模を販売量と売上高に基づいて推計と予測しています。企業が事業成長戦略を策定し、競合状況を評価し、市場ポジションを分析し、高速データ変換機に関連する情報に基づいてビジネス上の意思決定を行うのに…

こんにちは。 estie でソフトウェアエンジニアをしている @Ryosuke839 です。弊社ではデータウェアハウスとして Snowflake を採用しており、データ移送に dbt を使いだしています。dbt では SQL クエリからデータを生成する SQL model の他に Python コードでデータを生成する Python model も使うことができ、複雑なデータ変換や外部 API 呼び出しなどが絡む処理では Python model が役に立ちます。しかし、Python model には様々な制約や落とし穴があり、今回紹介する型指定もその 1 つになります。仕様を探る中で型指定の…

こんにちは、受託コンサルティングチームの hosor です。 先日、1 日に野良猫を 3 匹見ました。 お客様とお話していると「シングルセルの公開データを使って解析をしてみたいけれども、読み込み方法がよく分からない」というコメントをいただくことがあります。 そこで、今回はよく見られるデータ形式と Seurat での読み込み方法を 3 パターンご紹介していこうと思います。 データ変換 作業環境 Red Hat Enterprise Linux release 8.8 (Ootpa) R v4.3.2 Seurat v5.0.3 SeuratDisk v0.0.0.9021 hdf5 ファイル 発…

G-gen の杉村です。BigQuery の継続的クエリ（Continuous queries）機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 継続的クエリとは ユースケース 実行可能な SQL ステートメント 料金 BigQuery Editions 制約 利用方法 シンプルな例 APPENDS 関数の利用 制約と注意点 利用できない関数 認証・認可 レコードの削除と更新 クエリの更新とキャンセル リージョン 概要 継続的クエリとは 継続的クエリ（Con…

はじめに あなたは、日々の仕事や学習で膨大な情報に埋もれていませんか？情報過多の現代社会で、本当に必要な情報を効率的に収集し、整理することは、ますます重要になっています。そんな中、意外な分野からヒントが得られるかもしれません。それは、考古学者の発掘テクニックです。 考古学者は、限られた証拠から過去の文明や文化を解き明かすエキスパートです。彼らの発掘テクニックは、単なる物理的な作業ではありません。それは、情報を系統立てて収集し、分析し、解釈する高度な技術なのです。この考古学者の手法を日常の情報収集に応用することで、私たちの情報処理能力を飛躍的に向上させることができるのです。 本記事では、考古学者…

純粋関数の鉄則 javascriptの関数型プログラミングの胆：join, map, filter, reduce Array.joinは配列をつなげる 関数型プログラミングまとめ 備考 純粋関数の鉄則 純粋関数は、関数型プログラミングのもう1つの中心的な概念です。 アプリケーションの状態に影響を与えないため、作業が大幅に楽になります。 関数を使用する場合は、次の 3 つのルールに従うようにしてください。 関数は少なくとも一つの引数を取るべき 関数は少なくとも一つ以上の引数を返すべき 関数は引数の値を変更してはならない javascriptの関数型プログラミングの胆：join, map, fi…

今回の事例は納品後にクライアント様と制作における「振り返り」を行ったことで貴重なフィードバックをいただき、次に繋げる「Try」を掴むことができたお話です。 プロジェクト進行中に発生した課題に随時対処しながら、つつがなく進めることが大切です。しかし、その時に課題をなんとか収めたから良いということではなく、納品後にきちんと振り返りを実施し、客観的な視点で正確に分析・評価することにより、確実に自社のサービスや品質の向上につながります。今後同じような状況に出会った際、最適な対応ができるようになるためには、「どうすべきか」を言語化し次にその行動をとれるようにしておくことが重要です。 「最適な対応」を客観…

データ移行を実施する時にETLツールを使うことが多いです。ETLツールの機能中には、データ移行に使える機能もあるので、既存の慣れているETLツールを使うこともそれなりの意味はありますが、ETLツールの目的とデータ移行の目的は完全に一致しないため、適用が難しいこともあります。 ① ETLツールの場合、一般的にデータフロー作成UIを利用してデータ変換を表現・実現します。 データフロー図は処理の流れを直観的に把握しやすいですが、作成に時間がかかり、統合管理も簡単とは行えません。 Smart－MIGのリポジトリ情報はエクセルファイルをインプットして登録できるので、移行仕様の一元管理ができます。 ② E…

こんにちは！ときにはmeviyで板金の形状認識の開発をしたりしてます、南です。 meviyでは様々なCADデータをアップロードして部品を調達できるんですよね。CADでモデリング時に「ここは曲げで、ここはタップ穴で、ここを溶接して……」といった情報を入力すれば製造時に情報を参照して加工することもできますが、すべてのCADデータで情報を統一することは、まぁ無理ですよね。また、企業や組織が異なると設計時に入力する情報も異なるでしょう。 ということで、meviyではアップロードされた形状情報から特徴を抽出し、その部位が何であるのかを認識します。もうちょっと大きく言うと3Dモデルから設計者の意図を読み解…