PIPELINE

はじめに なんとかビーム！ nikkieです。 PyCon APAC 2023で興味を持ったApache Beamをローカルで動かしました。 PythonでDSLっぽい書き方ができたわけですが、これがどうやって実現されているのかソースコードを覗いてみました。 目次 はじめに 目次 PythonでPipelineを定義するのがDSLっぽい！ Pipelineとは PTransform >>で新しい名前を割り当てられるのはなぜ？ |でPTransformを合成できるのはなぜ？ 演算子の優先順位 終わりに PythonでPipelineを定義するのがDSLっぽい！ ローカルで動かしたときのコードの抜…

以前kedroのドキュメントを見たときに推奨されるデータ管理用のディレクトリ構造が定義されているのを見つけた。 https://kedro.readthedocs.io/en/stable/12_faq/01_faq.html#what-is-data-engineering-convention 整理しやすそうだと思ったため自前のスクリプトを書く際にも流用していたのだが、なかなかよかったのでkedro自体も実際に使ってみることにした。 全データの中から範囲を変えてグルーピングしていくつかのデータセットにしたいことがあったのだが、素のままでやる場合 それぞれグループ毎にcatalog.ymlに…

初日、行って参りました！！！ ぁぁあああ会いたいぃぃぃぃぃよぉぉぉ 映画見たらものすごーーーーくすごーーく ぐくさんに会いたくなっちゃいました( ;∀;) 恋しぃぃいいいいいなぁぁあ 会いたいなぁぁあああ 好きすぎる♡♡♡ これが感想( *´艸｀)( *´艸｀) 映画の帰り道に、「エクラグクも連れて帰る！！」 って、予定に入れてなかったモノを購入するぐらい 胸アツに(≧▽≦) 2回観たのに（今回は千葉で観ました！） 帰り途中下車してどこかで3回目を見るか すごくすごく悩んだし。 お楽しみは残しておこうかと、我慢したり。（笑） あーー楽しいーー推し推し推し推し推し最高 推しからパワーもらってとっ…

はじめに 井の中の蛙大海を知らず、されど空の青さを知る。nikkieです。 Bashについて、考え違いをしていたことに気づきました。 コマンド置換とパイプラインの違いに気づいた件を綴っていきます。 ※シェルは練度に伸びしろがあるので、間違ったことを書いている場合やもっとよいやり方がある場合は、ぜひ@ftnextまでご連絡ください。 目次 はじめに 目次 用語おさらい コマンド置換とは パイプラインとは 誤解していたために、直面した事象 コマンド置換では引数として渡るが、パイプラインは標準入力として渡る Pythonスクリプトを使って確認 コマンド置換 パイプライン 終わりに 用語おさらい コマ…