「English Language Teaching」の略。
はじめに GLB事業部Lakehouse部の陳です。先日に弊社の松崎がDatabricksからFivetranへの接続について説明しました（記事はこちら）。今回は、FivetranからDatabricksへの接続方法を説明します。少し手間がかかりますので、松崎の方法がうまくできない場合のもう一つの選択肢として参考になれば幸いです。 目次 はじめに 目次 前提について 設定の流れ Part1：作業@Fivetran Part2：作業@Databricks Part3：作業@Fivetran データをDatabricksに転送 Databricksでの確認 おわりに 前提について 弊社の松崎が説明…
1.はじめに GLB事業部Lakehouse部の松崎です。今回も、FivetranをDatabricksと連携させたELT設定の作成について解説していきます。 本記事では、MySQL RDSコネクタを使った、Amazon RDS(MySQL)からの連携設定の作成を進めていきます。 ※過去の記事はこちら。 第1回 第2回 目次 1.はじめに 目次 2. 参考資料 3. 前提条件 4. 事前作業 : 検証用RDSインスタンスの用意 4-1. RDSインスタンスの作成 4-2. TLS設定の作成 4-3. サンプルデータの準備 5. ELT設定の作成 5-1. ELT設定の作成＆設定値の入力 5-2…
はじめに GLB事業部Lakehouse部の阿部です。 本記事では、dbt cloudで作成したモデルのテストについて解説します。 前回の記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説しました。 techblog.ap-com.co.jp 前回の記事で作成したパイプライン全体に対してモデルのテストを実行し、最後にドキュメントサイトから実行したテストを確認したいと思います。 目次 はじめに 目次 dbtにおけるテストとは S…
はじめに GLB事業部Lakehouse部の松崎です。今回は、FivetranをDatabricksに連携させる方法を解説していきます。 ※前回の記事はこちら。 Fivetranでは、コネクタを使って多様なデータソースに対応できます。 本記事では、Google Sheetsからの連携設定の作成を進めていきます。 目次 はじめに 目次 1. 設定の流れ 1-1. Partner ConnectよりFivetranを有効化 1-2. Fivetranアカウントの作成 1-3. Google Sheetsファイルの作成 1-4. ETL設定の作成 1-5. ETL設定の動作確認 2. 実際の連携手順…
はじめに GLB事業部Lakehouse部の松崎です。この記事では、弊部門がパートナー契約を結んでおります、ELTツール、Fivetran（ファイブトラン）の概要を解説します。 目次 はじめに 目次 ELTとは？ Fivetranの概要 Fivetranが必要とされる背景 プラグインで対応可能なデータソース おわりに ELTとは？ Fivetranの説明に入る前にELTプロセスについて簡単に触れておきます。 ELTはExtract、Load、Transformの略で、データを抽出して別のストレージシステムにロードしてから変換する処理方法です。ETLとの主な違いはLoadの実行タイミングにありま…
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構成の説明がありますので興味ある方は最後まで読んでいただければと思います。 直近、GCP の BigQuery にアプリケーションのデータをニア・リアルタイムで同期できる Change Data Cap…
はじめに GLB事業部Lakehouse部の阿部です。 本記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説します。 ちなみにAPCでは、dbt Labs, Inc. と販売パートナー契約を締結しており、dbtの販売と導入支援の提供が可能です。 www.ap-com.co.jp 目次 はじめに 目次 dbt cloudとは Partner Connectの開始 dbt cloudでのプロジェクトセットアップ ソースデータを準備…
こんにちは！Dataintelligenceチームの垣内です。 前回、公開した「【PySpark】Pythonで分散処理を体験してみよう」では、簡単にPySparkの書き方をご紹介いたしました。 実務でPySparkで分散処理を実行するとなると、クラウドサービスを使うことになると思います。本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一弾の今回は、AWS Glueとはなにか？そしてローカルでの開発方法や開発に使うサービス・ツールをご紹介します。 AWS Glueとは Jobの作成方法 価格 DPUとは Jobの実行時間と料金の注意事項 AWS…
Every Little Thing のヒット曲に Dear My Friend というものがあるようです。 実は私は Every Little Thing というグループ名は知っていましたが、どのような傾向のどのような歌を歌っているのかは全く知っていませんでした。 では何故 Every Little Thing が Dear My Friend という曲を持っているのか知っているのかというと、マーク・ピーターセン の著書『実践 日本人の英語 (岩波新書) 』の中で「不気味な曲名」として取り上げられているので強く印象に残っているからです。 引用というには少し長いかも知れませんが、以下に抜粋しま…
最近、ELT(every little thing)にはまってます。 最近というよりここ一週間ですが(笑) きっかけはYOUTEBEで伊藤一郎さんが安いギターレビューしてるのを見てから、「なんかこの人好きだなぁ」と思い始めてから。 優しくて眠たくなるようなしゃべり方の人がなんか好きなんですよね～。 見てると授業中のような感じになります。(笑) そんなのほほんとした方ですがああみえてギターがかなりうまいんですよ。 そして音作りも譜面も弾き方も自分が好きなメタル系。 本人もおっしゃってましたが昔からメタル系 今まであまりこういう曲を聴いてこなかったんですがいざ聴くと聴いたことのある曲ばかりで「この…
G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビューは断念 BigQuery へのアクセス権限 Connected Sheets やろうとしたこと Connected Sheets 接続 VLOOKUP /…
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝藤原直哉@naoyafujiwara·6月2日 今日の米軍の星条旗新聞の記事。 連邦議事堂に国旗が上がっていない。 念のため・・・https://twitter.com/naoyafujiwara/status/1664503539908116480?s=20 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ ↑↓ 藤原直哉@naoyafujiwara·6月1日 FSB、アップルの携帯端末のウイルスで 米国の諜報活動を摘発 同社は、米国の情報機関に、自国民だけでなく、 ホワイトハウスが関心を持つあらゆる人物を 監視する能力を与えているという。https://twitter.com/…
varootです！ 今回の記事では、直近1週間後に控える技術面接の対策として、よく聞かれているであろう質問を備忘録としてまとめることにしました。 ネットワーク周りのあるあるの質問から、データエンジニア採用ということで、データエンジニアリングらしいところまで、自分の言葉でまとめていこうと思います！ (連載1週目から早速水曜日更新できておらず、毎週の締め切りとか守れる人本当にすごい。。。) Updates 2023/06/03 最終更新 よく聞かれるドメイン知識 好きなプログラミング言語は、またそれはなぜか？ トラブルシュートをするときにどのようなステップを取るか？ white box testi…
G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル 連携クエリ (Federated query) BigQuery Omni BigQuery Omni とは 対応サービス 注意点 BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 Big…
前回のカラオケ↓ showtakasugi.hatenablog.jp 前回の大会記録↓ showtakasugi.hatenablog.jp 今回は2023年1月～3月にかけて個人的にクリティカルヒットした38曲を歌います。 最近の曲は難しいもんで、全然90点オーバーが出ませんね。 踊るエジソン ジソン心 サビカラだと惜しくも2位でした 東京卍リベンジャーズのアニメOP 藤原聡さんの復活待ってます！ ヨルシカの曲。もっと練習すれば全国1位になれるかも？ タイタニックの再上映観て泣いちゃった。 WBCで何回も聴いた曲。ヌートバー選手大好き！ 初歌唱でまずまずの得点。1・2位がさも強し 大塚芳忠…
ELTといえば「Time goes by」ですけどね。 sure いきなりサビから始める珍しい構成。五十嵐さんがELTを離れる時に作った曲。 Rescue me ELTらしいキャッチで明るいメロディー Over and Over しっとり系もピックアップ。
■ はじめに dbt に関するお仕事が入ったので、急遽メモ。 目次 【１】dbt １）サポートデータプラットフォーム 【２】インストール １）pip によるインストール 【３】QuickStart ０）前提条件 １）作業ディレクトリを作成する ２）テスト用DB環境を準備する ３）DBへの接続設定を行う ４）dbt initの実行 ５）dbt debugの実行 ６）dbt runの実行 ７）dbt docs generateの実行 ８）dbt docs serveの実行 【４】トラブルシュート １）「dbt init users」実行時に「Error: Invalid value for '--…
※JABAチーム動向の後半が製作途上のため、当記事を先にアップします。 今項では都市対抗野球・赤崎野球クラブ応援活動記ということで、第一週に関しては文字通り５月第１週に書いているので、第二週、第三週の活動記を記します。 １．久慈クラブ戦 ―スピーカーの調子取り戻し幅広く活動 第一週・高田クラブ戦はとりあえず間に合わせた２曲で楽曲応援をしましたが、間に合わせのため満足いかず作り直し。1990年前後に製作されていたロールプレイングゲーム・ラストアルマゲドンのバトルBGMと楽曲応援でずっと使っていたノースリーブス（高橋みなみ、峯岸みなみ、小嶋陽菜各氏）のAnswerの２曲も製作し、第一週で出していた…
カラムーチョは世界で一番美味い食べ物である。 正確さを期すならばカラムーチョスティックは世界で一番美味い食べ物である。 では二位は何か？当然ながらカラムーチョチップスである。 食べログ百名店よりも ミシュラン５つ星よりも 子供の頃にふるさとで食べたあの鮎よりも 減量でガリガリに痩せ細ったボクサーが食べる半分のりんごよりも カラムーチョのほうが美味い。 俺はそう言っている。 俺は先日、奥多摩へキャンプに行った。 親に誘われたためである。 そこで親におやつ係に任命された俺はカラムーチョを買った。 https://twitter.com/elt_ogipei/status/1653642976986…
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 コンポ…
Penguin Readers Level 2 大好きな名作、「赤毛のアン」。 ストーリーも登場人物もよく知っているし、 私にも読める簡単な英語なので、 いくつか調べた単語がありましたが、スイスイ読めました。 Anne of Green Gables かなり簡約してあると思いますが、 アンが見た素敵な風景の描写は、十分に伝わりました。 かわいい挿絵にも助けられたと思います。 日本語では、本、アニメ、映画でよく知っているので、 マシュウとマリラ、ダイアナやギルバートなど、 いろんな人たちとのエピソードが、次々と出てきて思い出しながら読みました。 マシュウが、アンが欲しがっていた、 パフスリーブの…
･ω･*)ﾉнёιιο! みゆちんですฅ^. ̫ .^ฅ♡ 21日のみゆ祭りに来てくれたみなさん❣️ 本当にありがとうございました♡ 今回は年に一度の可愛いが許される生誕祭ということで... アイドルっぽくツインテールで参戦🎀 リボン、指輪、服も全部新しいもの購入してルンルンで当日を迎えました♡ みんなに可愛いって言ってもらえて幸せだった( *ᐢ´꒳`ᐢ* ) ただ1つ、リングライトのコンセントを忘れるという致命的なミス(´；ω；｀) 万全の体制で挑みたかったなぁ(´・ω・｀) 今回は久しぶりのカメラ配信＋2完走＋αの長時間配信でした♡ 途中喉が心配でしたが、今日完治しました笑 毎年恒例、…
超過死亡の原因について、森田先生がテレビで説明して下さっています。 森田先生と、五十嵐さんのツイートを掲載させていただきます。 たくさんの反響、ありがとうございます！超過死亡やワクチンのこと、こうやってデータを使ってキチンと話していくことはとても大事だと思います。ただ、より大事なのはこうした情報が届きにくい層に届くこと。… https://t.co/Z18m3NOJgv — 森田洋之@「医療」から暮らしを守る医師／「人は家畜になっても生き残る道を選ぶのか？」発売中！ (@MNHR_Labo) May 20, 2023 笑いながら結構ズバッと本音をおっしゃっています。 動画の中の図が、一部、意図…
卓球の石川佳純選手が引退されました。 引退会見を開くということでネットニュースのトップに出ていました。 私自身、卓球というスポーツは好きですが、あくまで国際大会のにわかファンという感じで、そこまで卓球に関心があるわけではないので、引退会見までは見る必要ないかなと思っていたのですが、あるニュースを見て、ちょっと見たくなりました。 それは、会見の途中で、中国メディアの方が「中国語で答えてくれますか？」という質問を受けて、中国語で受けた質問を中国語で返答し、さらに自分の返答を日本語訳にしたという話です。 このバイリンガルの受け答えが、記者会見でも拍手が起きて、それがニュースになったという経緯です。 …
英語話者のお客さんや、観光客の方増えてるな〜と思い、英語で自分からある程度話せないと不利な場面も出てくると感じて、とりあえず契約してみた。 ネイティブキャンプというやつで、今はAmazonギフト券をくれるキャンペーン期間中 システムは、ネイティブ講師との予約し放題は別料金プラン、基本は今すぐ受講できるプランで受講し放題、特定の講師との受講は有償コインが必要。 英語話者との関わりなんて中学校のELTと、高校の修学旅行で止まっていて全く勉強してないのに、まあ何とかなってるしいけるっしょ？で新規登録 その後、一週間無料だったけど、殆ど触れず…いや触らず。クレジットカードの登録必要なので気づいたら決済…
qiita.com
blog.livedoor.jp
speakerdeck.com
guideline.livedoor.biz
ascii.jp
toyokeizai.net
www.cdatablog.jp
realsound.jp
lite-ra.com
