PowerQuery

ExcelやPower BI Desktopに搭載されているセルフサービスETL*1機能であるPower Queryは本ブログで何度も紹介してきました。Power Queryはローカル環境で作業するのに最適で、特にスペックの高いPCを使っている場合、メモリフットプリントを最小化して処理を行う特性により、殆どの場合ストレスなく"データをマッサージ"することができます。 一方で、クラウドサービスとしてのPower Query、すなわちPower Query Online（別名「データフロー」）も提供しており、今回はこちらについて数回に分けて紹介していきたいと思います。データフローの使い方について、…

教室で談話する時にあったかいスペースがあればいいな♪と思い、『お喋りタイム炬燵スペース』を作りました。 完全予約制のマンツーマン。授業はコタツではなく、椅子に座ってテレビに映して行っています(*'ω'*) 新たに来年から教室でPowerqueryとPowerBIの研修を立ち上げます。定員は６人MAX。その時はテレビではなくプロジェクターで投影し講座を開催します。目途が付いたら投稿します。 今年の投稿はこれが最後か？！時間が出来たら投稿します。

前回の投稿から１週間経ってしまいました(-_-;)毎日バタバタしています。 第２回はExcelのIF関数、VLOOKUP関数をメインにABC分析を行いました。 明日はデータ分析講座の第３回。私の大好きなPowerqueryを使いながら、ピボットテーブルで分析です！

最近はお客さんの要望が多くなってきたせいか、良い意味でちょこちょこPower BIを触ってます。以前は在庫分析ばかりやっていたので、モデリングや使うメジャーに偏りが生じていましたが、最近はそれもないということで色んな分析ができてなかなか面白い。今回はそんな中であまりブログでも見かけない時刻をベースとするデータモデルで稼働時間分析をケーススタディとしてPower BIでやってみたいと思います。 ※ 一番下からオリジナルデータをダウンロードできます。また、Power Queryのソースコードをコピペすればクエリテーブルを生成でき、テーブル名をしっかり同じものにすればTabular EditorでD…

JavaScriptの正規表現を呼び出す 残念ながら現時点では、PowerQueryのM言語では正規表現はサポートされていません。しかし、M言語でJavaScriptを呼び出すテクニックがあるそうで、これを使う事で正規表現が利用可能になるそうです。 replace(置換)とmatch(抽出)は先達の方々が日本語で解説記事を書いていたのでそのまま使えそうでしたが、test（True/False）は残念ながら見つけられませんでした。 仕事の関係でtestメソッドを使いたかったのでjavascriptのprogateの無料分だったり初心者向けサイトを見ながら書いてみました。下記を詳細エディタに貼り付…

Power BIを活用している方であればインポートモードとDirectQueryの違いについてもある程度知っているかもしれません。今回はPower BI CATチームのPhilさんに共有してもらったDirectQueryにまつわる謎（留意点）について紹介したいと思います。 PhilさんはDAXerpt（DAX Expert）として、同じCATチームのDarrenさん（DAX Studioの開発者）と同じく、非常に尊敬しています。 dax.tips Darrenさんはつい最近、DAX Studio v3をデビューさせましたので、まだダウンロードしていない人はぜひこの機会に。DAX Studioに…

今週のお題「冷やし◯◯」 単純に思いつくのなら沢山ありますが、 当ブログはエクセルに寄せないと・・・ 今週もチャレンジします 夏が来た！本当の夏が来た！ 40℃って何？？？ 感覚がおかしいので日向ぼっこを・・・ 電子デバイスは高温に弱い 冷房全開で30℃？？？ 冷やしチョコと冷やしコーラ 夏が来た！本当の夏が来た！ 40℃って何？？？ こんにちは、本格的な夏が来ましたね、 今年は時期外れの梅雨明けに6月の猛暑！ しかし、いよいよ来ましたね・・・夏が！ 明日の最高気温は40℃の予想です😱 体温を軽く超えてます！ 何ですか40℃って！ぬるめの温泉の温度ですね。 次の日が最高気温32℃とかだと「涼し…

前編がまだの方は、前編もどうぞ！※後編から読んでも大丈夫です！ natukiakagi.hatenablog.com 事務職ならVBA(マクロ)が最強でオススメです！ 就労移行支援事業所共通カリキュラム ┗【どの就労移行支援事業所でも共有】 ┗【一般的な就労移行支援事業所】 ┗【ＩＴ系の就労移行支援事業所】 お金が全くない場合は就労継続支援事業も要検討 就労移行支援事業所に通うデメリット 就労移行支援事業所に通うメリット 就労移行支援事業所の通所での注意点 まとめ 事務職ならVBA(マクロ)が最強でオススメです！ ┗【記事：よく聞くマクロって何？VBAとの違いは？習得には何が必要？】Comin…

あけましておめでとうございます。 新年１回目の投稿です。 今年１回目のMake Over Mondayがデータが出ていたので、Vizを作成してみました。完成したVizはそこまで特殊なものではないですが、データを事前に加工する必要などがあったため、エクセルでのデータ加工と絡めて、データの縦持ち、横持ちの話をしようと思います。 まずダウンロードした時点でのデータ構造は下図の通りでした。 見ての通り、データが横持ちになっています。 横持ちとは、CO2やCH４などの列が横に並んでいる状態です。 この状態でもVizを作成できるので、まずはデータの傾向などを把握するために、一旦Tableauにデータを入れ…

あけましておめでとうございます。思えば、2022年に書いた最後の記事が100回目だったこともあり、2022年では計52記事（平均週1のペース）となりました。2023年の抱負は何といってもエンタープライズ型セルフサービスBIの推進をしていくことであり、そのためにはいろんな面でより効率良くツールを使いこなすとともに、新しい知識を学んでいく必要があると自覚しています。 2023年の最初の記事として、Visual Studio Code（略して「VS Code」）を使ってPower Queryを効率良く書いていくやり方について紹介したいと思います。 code.visualstudio.com VS C…

本年も宜しくお願いします。例年は 仕事納め 年末のご挨拶 新年のご挨拶 仕事始め と4記事にしていましたが、今年の年末年始は少し気持ちに余裕がなかったため、昨年の振り返りと今年の目標を一つの日記にまとめて書くことにしました。 2022仕事納め 12月28日(水)で本業の年内の業務が終了し、12月29日(木) ～ 1月3日(水)までの6日間の年末年始休暇に入りました。 予想通り人事異動があり、一息つける程度には気持ちの負荷が下がりました。とはいえ未だ完全には直っていないと感じています。5割～7割の間で推移していました。 Excel を使用したデータ集計の改善は徐々に進められました。元々使用してい…

2023年の目標 1.リスキリング・学習 (1)E資格24年2月試験合格に向けて 8月にAVILEN講座修了(試験は8月最終週、講座合格から2年以内が受験資格) (2)受注予測システム完成 8月 (3)VBAスタンダード合格 8月 (4)PowerQuery、Pivot、BIのスキル習得…8月までに自在に扱えるように (5)Kaggle Expert(銅メダル2個) 2.健康 (1)内臓脂肪レベル 3月以降11.0以下維持 (2) 箱根駅伝往路を走る

M式言語で複数の表を合体させたい M式言語ではTable.Unionではなく、Table.Combine 複数のテキストやCSVデータを合体する 複数のテキストやCSVデータを合体しつつさらに新しいカラムを追加する 複数のテキストやCSVデータを合体しつつさらに新しいカラムを追加する 指定したカラムだけを抽出する 終わりに 参考 M式言語で複数の表を合体させたい ある大量のログファイルを全て合体させなくてはならない場面に遭遇しました。 そのログファイルは全部同じ項目で構成されたテキストファイルでした。 こんなときこそM式言語の出番！！ というわけで同じファイル、つまり表を合体させるときのM式言…

アドベントカレンダーのネタにするためにゲームを使って改善の練習をしたのでまとめ。 対象のゲーム 現在ハマっているSatisfactoryというオープンワールドの一人称視点工場建設ゲーム。 以下、Satisfactoryについて箇条書きで紹介(文章にできなかった)。 プレイヤーは、とある惑星に派遣された主人公となり、採掘した鉱石を加工しアイテムや設備を整え、惑星を開拓するのが目的 設定されたマイルストーン(クエストのようなもの)をクリアすることで、採掘できる鉱石や、加工できるアイテム、設備が増える マイルストーンはいくつかのティアに分かれており、アンロックするためには指定されたアイテムを納品する…

この記事で説明すること 国土地理院で都道府県別に提供されている市町村庁舎の緯度経度情報はPDFになっています。 EXCELのPowerQueryを使って、都道府県別の47個のPDFから市町村庁舎のデータを抜き出し、全国のデータとして一つに結合したEXCELテーブルを作成しました。 プログラムを書かなくてもEXCELがあれば複数ファイルからのデータ抽出＆結合ができるので、手軽な方法＆応用の利く方法として紹介します。 データの目的 市町村別人口色別地図で市町村にマーカーを付けるとき、マーカーの場所（緯度、経度）を決める方法として 市町村の重心にする ： 地理的（図形的）な中心部にマークされる 市町…

2022/10/14に開催された kintone Café 大阪 Vol.22〜ヒョウケイさんとkintone〜私も5分のLTをさせていただきました。 その内容をnote用に再編集し、残しておきます。※ これはあくまでも個人的な考えのもと書いた記事であります。特定の人物や事例に対して物申す訳ではございません。 一つのネタとしてご笑覧ください。 呪われたExcel問題 kintoneでデータベースの練習をする 例1 顧客管理の場合 例2 売上集計の場合 kintoneのデータの持ち方を見てみる kintoneのようにExcelを使う まとめ 呪われたExcel問題 kintone界隈に生息してい…

データ分析講座、３回目はPowerqueryをふんだんに使った、ビッグデータの取り扱い方と分析をお伝えしました。 明日はいよいよ最終回。 来期の売上予測や目標値を見つける分析を行います。