Hatena Blog Tags
はてなブログ トップ
Pyspark
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Pyspark

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
MicroAd Developers Blog•1年前

Parquet形式への変換処理におけるストレージI/O削減

はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検証が進められるなか、懸念点として浮上した話が、ストレージI/O問題でした。 当時のデータ基盤の処理をそのまま移行した場合、I/O性能が処理量に追い付かない可能性がありました。 しかしながら、新データ基盤ではS3互換ストレージ（非常に高価）を使用しており、増設は可能な限り避けたい状況でした。 ということで、いかにしてI/Oを減らすことができる…

#Python#Pyspark#データ基盤

関連ブログ

たまのおもひで•1年前

Azure Databricks上で機械学習を実装するために前処理を進める【PySpark】

mojimojimm.hatenablog.com の続きです。機械学習モデルを実装する為に前処理を行っていきます。出来なかったこと、エラーで困ったことも含めて文章に残しておこうと思います。 1. 前回出力したテーブルの取り込み、諸々の確認。 2. 機械学習を実装するための前提整理。 3. 前処理を頑張って進める。 1. 前回出力したテーブルの取り込み、諸々の確認。 df = spark.table("test.default.my_table") df.printSchema() df.show(5)上記のコードを実行すると "postal_zip_code"（郵便番号）がlong型になって…

#Azure Databricks#Pyspark#Python#機械学習#Apache Spark
たまのおもひで•1年前

無料トライアル版に登録してAzure Databricks上でPythonコードを動かしてみる【PySpark】

Azure Databricksに触ったことのない私が、環境をいちから準備してPySparkでデータ分析をしてみよう! と試みた記事です。出来なかったこと、エラーで困ったことも含めて文章に残しておこうと思います。 1. アカウント作成からノートブックへの移動まで。 2. Pythonコードを書いてみる。Azure Databricksの魅力。 3. 引き続きコードを書いていく。 1. アカウント作成からノートブックへの移動まで。 まずAzureの無料アカウントに登録する必要があります。 https://azure.microsoft.com/ja-jp/pricing/purchase-opt…

#Azure Databricks#Databricks#Python#Apache Spark
MicroAd Developers Blog•2年前

Spark Connectの検証における知見と課題

マイクロアドでサーバーサイドエンジニアをしている高橋です。 PySpark x Spark Connectの検証によって知見が溜まってきたので共有します。 検証に至った経緯は別の記事で紹介しています。 developers.microad.co.jp Spark Connect関連の情報は検索してもまだ少なく、試行錯誤しながら進めています。 この記事が少しでも参考になれば幸いです。 構成 知見 Spark Connect server起動時にオプションを全て渡さなければならない Decimal型の列同士の四則演算で精度が変わる Hiveのクエリ・UDFが使える 課題点 構成 今回想定する構成は…

#Python#Pyspark#Apache Spark#Kubernetes
APC 技術ブログ•2年前

私がDatabricks Data Engineer Professionalに合格した方法

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer Associate合格に向けた試験対策については、以下のブログに記載しております。 こちらも見ていただけると幸いです。 techblog.ap-com.co.jp 目次 Databricks Data Enginner Professional（DDEP）と…

#Databricks#Data Engineer Professional#Databricks Certified#Data Engineering#Pyspark
MicroAd Developers Blog•3年前

データ基盤移行計画とPySpark（Spark Connect）の検証

マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はデータ基盤移行とPySparkについての話になります。 目次 目次 データ基盤移行の概要 データ基盤移行後のバッチ処理 Spark Connectを導入する Spark Connectの問題点 まとめ 補足 データ基盤移行の概要 諸々の事情1により、データ基盤をHadoopから移行することになりました。 現在のデータ基盤でのETL/ELT処理はHadoopエコシステム(Hive、HDFSなど)を中心に構成されています。 ※Hadoopについてはこちらの記事が参考になります。 これらをKubernetes、PySpark、S3互換…

#Python#Pyspark#Kubernetes#データ基盤
mazyu36の日記•3年前

PySparkの個人的チートシート

PySparkを使用する機会が増えてきたので、個人的によく見返しすメモをまとめておきます。全般的にRDDではなくDataFrameを使用しています。 AWSでSparkが使えるサービスと言うとGlueやEMRが定番の印象ですが、最近ではAthenaやRedshiftでも使えるようになりました。 今後さらに利用シーンが増えていきそうです。 aws.amazon.com ※PySparkのAPIのリファレンスとしては、以下のDatabricks Japanの方が書かれた逆引きの記事が参考になると思います。 qiita.com ※以下は公式のリファレンス spark.apache.org

#Pyspark
神戸のデータ活用塾！KDL Data Blog•3年前

AWS Glueを使ってみた！～環境構築・実行編～

こんにちは！Dataintelligenceチームの垣内です。 本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一回目の「サービス調査編」を見られたい方は、こちらからご覧ください！ kdl-di.hatenablog.com 今回は、ローカルでの開発方法をご紹介します。 アーキテクチャのおさらい compose.yamlの修正 ①ファイル名の変更 ②S3コンテナ init.shの作成 yamlの修正 ～LocalstackでAmazon S3を立ち上げる～ Localstackの起動初期スクリプトをマウントする ③Glueコンテナ yamlの修…

#AWS#Amazon S3#AWS Glue#Spark#Apache Spark#Docker
神戸のデータ活用塾！KDL Data Blog•3年前

AWS Glueを使ってみた ～サービス調査編～

こんにちは！Dataintelligenceチームの垣内です。 前回、公開した「【PySpark】Pythonで分散処理を体験してみよう」では、簡単にPySparkの書き方をご紹介いたしました。 実務でPySparkで分散処理を実行するとなると、クラウドサービスを使うことになると思います。本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一弾の今回は、AWS Glueとはなにか？そしてローカルでの開発方法や開発に使うサービス・ツールをご紹介します。 AWS Glueとは Jobの作成方法 価格 DPUとは Jobの実行時間と料金の注意事項 AWS…

#AWS#AWS Glue#LocalStack#サービス調査#Spark#データ分析基盤#ETL#ELT