Redash

最近社内でRedashを利用している。色んなデータソースにたいしてクエリを書くことができて便利です。 redash.ioただ、たまに数字の出力で精度について気になることがあるのでブログにまとめておきます。 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる 桁数の多い数字の場合の誤差 小数点2桁までで丸められる件 Edit Visualization で小数点の桁数を変更しても、十数桁以上から結果がずれる 終わり 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる まず前…

京都研究所・TechLabの田中です。マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際にRedashを利用しています。Redashから接続しているデータソースには、以前このブログでも紹介した分析用Hadoopクラスタ*1に加えて、MySQLのレプリやBigQueryなどがあります。 これらの異なるデータソースに対してRedashからは同じインターフェースでアクセスでき、手軽にデータの抽出や可視化・分析などが可能です。 また、クエリで抽出したデータを利用して、Redash上にダッシュボードを作成することもできます。本稿では、そんなRedashの活用方法…

データリネージツール Stairlight の v0.3.0 を公開しました。 Stairlight とは テーブルレベルのデータリネージツールです。詳しくはこちらの記事をご参照ください。 ts223.hatenablog.com ts223.hatenablog.com 主なアップデート データソースとして Redash に対応しました 出力結果の保存・読込先として Google Cloud Storage に対応しました Jinja パラメータ抽出機能を強化しました github.com 1. データソースとして Redash に対応しました Redash は、OSS として公開されている…

2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 202…

この記事はテックタッチアドベントカレンダー23日目の記事です。 分析チームでエンジニアリングマネージャーをしている takeshi です！ 入社して1年が経過しました。 今回は、分析チームの日々の業務の中で活躍してくれているRedashとTableauについて、経験したことを紹介したいと思います。分析関連の業務をされている方に、少しでも参考になれば幸いです。 RedashとTableauとは Redashの場合 Tableauの場合 RedashとTableauを比較して シンプルな比較 データ接続 変数利用 Redashの場合 Tableauの場合 複数データソースを結合して扱う Redas…

タダです. redash のデータソースとして Python を使ってみる機会があったので,この記事にまとめていきます.なお,redash のバージョンは 8.0.0+b32245 で確認しています. Python をデータソースに追加 データソース追加後のコードを書いてみる まとめ Python をデータソースに追加 デフォルトでは,データソースに Python がないため追加の設定が必要です.自分の確認環境は EC2 の AMI を使っているため /opt/redash/env に下記の記述を追記後,docker-compse up -d で起動し直せばデータソースに Python が追加…

こんにちは。サーバーサイドエンジニアの武井です。 社内の改善業務でデータベースの抽出結果に応じてSlackのチャンネルに通知が欲しいという依頼を受けまして、改善も出来てブログのネタにもなって二度美味しい！と思い記事にしてみました。 ヤプリのデータはAWSやSQLite、Salesforce等いろいろなデータベースに存在していますが、多くの情報はRedashに集約され一括で検索出来る様になっています（もちろん個人情報に関連するデータは参照することはできません）。ダッシュボードなどをうまく活用して、エンジニアだけでなく社内で広く活用されています。 依頼の内容はデータベースを参照する必要がある方法で…

こんにちは、エムスリーエンジニアリンググループ AI・機械学習チーム(以下「AIチーム」)で機械学習エンジニアをしている農見です。 今日から1週間「AIチーム ブログリレー」と題し、AIチームメンバーでリレー形式でテックブログを執筆し、AIチームがどのような開発をしているのか・どんなチームなのか・どんなメンバーがいるのかなど、ご紹介できればと思います。 記念すべき初回は僕がAIチームで知っている技術スタック( AIチーム内で使ってる技術スタックではない)についてです。それではどうぞ

「週末なにする？そんな時は、アソビュー！」でおなじみの遊び予約サイト「アソビュー！」のSEOを担当している西本です。 最近嬉しかったことは、長男(小学1年)が図工の授業で書いた絵が、クラスの代表として市が主催する作品展に展示されたことです。絵の才能がある天才だと確信しました。 今回は先日発表されたサーチコンソールの一括エクスポート(bulk data export)についてです。 developers.google.com 早速設定をしてみて、エクスポートされるデータを確認してみたので、その内容を簡単にまとめたいと思います。 最初に結論を書くと、APIと一括エクスポートを比較した結果は以下の通…

お仕事 BigQueryに蓄積されたデータをredash経由で抽出するクエリを書くお仕事 分析の需要が高まりつつあり、割と忙しい SQLは慣れた 何が知りたいか、それを知ってどういう施策を打つのか、それを踏まえてどういう出力を出せばよいか、という要件定義？みたいのはまだまだ未熟 個人でやってる cs50を取り組み中。week2まで終わり次はweek3 講義の動画、2時間以上あるので続けられるか自信なかったが、いざ見始めるととても楽しい 独学で勉強してきたことの点と点が結びついていくイメージ 課題は普通に難しい 週一の統計勉強会は継続中。もうちょいコミットしたい その他 週一のジム通いを継続中 …

前提 あえてmacOSの日本語入力プログラム（macOSデフォルトの日本語IME）だけで生活しようとしている場合の記事 ふつうはKarabiner Elementsを使えばよいはず これまで 以前Ctrlでひらがなと英字モードをトグルするようにした。 Macのセットアップでやること2022 - kymmt 結果としては、これは使いにくかった。理由: ノートブックのキーボードだとCtrlが小さい Option ⌥と誤打する どちらのモードなのかメニュー上のIMEの表示を見ないと人間が把握できない 見ればいいのだが見ない 日本語入力ソースの中のモードを使う 実はトグルではない方法で日本語と英語の入…

こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問題点、 倫理的側面に至るまで幅広く書き連ねてみました。 読んで欲しいのはどちらかと言えば同僚なのですが、 そういう時にはまず社外に出してしまった方が良いものですので、 ブログにしてしまいます。 比較的同業の方が読むことを想定しているため、 図表を用いてわかりやすくすることはしており…

こんにちは、株式会社ROBOT PAYMENT（以下、ロボペイ）でCREを担当している山下です。 過去2回と請求管理ロボのCREを紹介してきましたが、（過去の記事も是非ご覧ください） 今回はその活動の中で行ってきたことや、考えていることについての小話をいくつかご紹介します。 tech.robotpayment.co.jp Redash革命 バグの0を目指した話 手付かずのマイナー要望をやってしまおうという話 テクニカルサポートが欲しいという話 Redash革命 redash.io 活動の1つとして大きかったのはRedashをビジネスサイドで利用できる様にしたことです。 特にカスタマーサクセス（…

2022年の振り返り 🎉 幅広く技術を語れるように学び続けた ⭕ 2019年から4年連続で「幅広く技術を語れるように学び続ける」を年間目標にしていて，今年もたくさん学び続けられたと思う．引き続き "自称" 意識高い系❗️まだ技術講師という仕事を続けているため，顧客満足度の高い技術講師であり続けるために学び続けている．よって「語れる = 教えられる」という目標設定は本当に自分自身にあっている．また2022年も「四半期ごとに」中目標を掲げていて，2022年は以下に取り組んでいた． 1-3月 : 今まで後回しにしていた "もろもろ" を学ぶ 📅 2021年末に Trello の整理をしていたときに「…

どうも、ゲームコミュニティ事業部Tonamelのサーバサイド担当の谷脇です。 今回はTonamelのサービス特性上、どうしても発生する急激なアクセス数の増加(以下スパイクアクセス)をどのように対処しているかをお話します。 Tonamelのサービス内容については以前の記事に書いています。一言でいうと「誰でもeスポーツ大会の運営ができるサービス」です。 Tonamelの特徴 大会が開始したときに発生するスパイクアクセス スパイクアクセスの様子 上記は、あるゲーム大会が大会を開始した10:40ごろのリクエスト数の遷移です。Tonamelは大会の開始と同時にトーナメント表が公開されます。大会に参加して…

GitHub にはアカウントデータを取得する「エクスポート機能」がある．リポジトリ情報だけではなく，issue 情報（コメント含む）やプルリクエスト情報（コメント含む）などもエクスポートできる．2018年12月にリリースされた機能だけど実は今まで使ったことがなかった❗️さっそく試していくぅ〜 github.blog エクスポートする 手順は GitHub Blog やドキュメント（Requesting an archive of your personal account’s data - GitHub Docs）に載っている通り，Account メニューの Export account da…