Hatena Blog Tags
はてなブログ トップ
Apache Spark
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Apache Spark

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
準富裕層の窓際族、ガジェットの山に埋もれる～評価ダウンからのFIRE計画～•22日前

【AGIはもう来ている？】Databricks共同創業者がコンピュータ科学界のノーベル賞受賞。「業界はAGIを誤解している」

すーだらです。 「AGIはもうすでに来ている」—— Databricksの共同創業者でCTOのマテイ・ザハリア氏が、コンピュータ科学界のノーベル賞とも言われる「ACMプライズ・イン・コンピューティング」を受賞し、その場でこんな発言をしました。 AGI（汎用人工知能）論争に、また新しい声が加わりました。

#生成AI#AGI#Databricks#FANG+#ビッグデータ#Apache Spark#IPO

関連ブログ

やっさんメモ•5ヶ月前

Spark Operator特集・1日目「まずはSpark on K8sのおさらい」

この記事は Distributed Computing Advent Calendar 2025 の1日目の記事です。 qiita.com 今年もアドカレの季節がやってきました🎄 今回は、Apache Spark（以降、Spark）のKubernetes Operatorについて取り上げます。 Sparkは大規模データ処理には欠かせないミドルウェアで、Apache Iceberg の実行エンジンとしても利用されています。また、SparkのKubernetes Operatorは、Kubernetes上でSparkジョブのデプロイ・管理・スケーリングを自動化するためのOperatorです。 他に…

#アドカレ#アドカレ2025#Apache Spark#Kubernetes
MicroAd Developers Blog•7ヶ月前

GCP外のSparkからBigQueryにデータを転送する

はじめに マイクロアドでサーバーサイドエンジニアをしている高橋です。 Apache Spark SQL connector for Google BigQuery（以下spark-bigquery-connector）でSparkからBigQueryにデータを転送する際に、ドキュメント通りでもうまくいかない部分がありました。 そこで本記事では実際に転送できた設定例を紹介します。 タイトルのとおりですが、本記事ではGCP（Google Cloud Platform）外で動作するSparkからBigQueryへのデータ転送について扱います。 はじめに 経緯 使用するライブラリや環境 Spark s…

#データベース#BigQuery#Apache Spark
たまのおもひで•9ヶ月前

Azure Databricks上で機械学習を実装するために前処理を進める【PySpark】

mojimojimm.hatenablog.com の続きです。機械学習モデルを実装する為に前処理を行っていきます。出来なかったこと、エラーで困ったことも含めて文章に残しておこうと思います。 1. 前回出力したテーブルの取り込み、諸々の確認。 2. 機械学習を実装するための前提整理。 3. 前処理を頑張って進める。 1. 前回出力したテーブルの取り込み、諸々の確認。 df = spark.table("test.default.my_table") df.printSchema() df.show(5)上記のコードを実行すると "postal_zip_code"（郵便番号）がlong型になって…

#Azure Databricks#Pyspark#Python#機械学習#Apache Spark
たまのおもひで•9ヶ月前

無料トライアル版に登録してAzure Databricks上でPythonコードを動かしてみる【PySpark】

Azure Databricksに触ったことのない私が、環境をいちから準備してPySparkでデータ分析をしてみよう! と試みた記事です。出来なかったこと、エラーで困ったことも含めて文章に残しておこうと思います。 1. アカウント作成からノートブックへの移動まで。 2. Pythonコードを書いてみる。Azure Databricksの魅力。 3. 引き続きコードを書いていく。 1. アカウント作成からノートブックへの移動まで。 まずAzureの無料アカウントに登録する必要があります。 https://azure.microsoft.com/ja-jp/pricing/purchase-opt…

#Azure Databricks#Databricks#Python#Apache Spark
JBS Tech Blog•1年前

Azure Synapse AnalyticsでAzure OpenAIのLLMを利用する【1. Deltaテーブルを利用した逐次処理】

Azure Synapse Analytics上で Azure OpenAI Service（もしくはOpenAI）のLLMを利用する方法として、今回はDeltaテーブルを利用した逐次処理を紹介します。 はじめに 今回紹介する方法の概要と注意事項 Deltaテーブルを使用する理由 実践 パッケージのインストール データの準備 AIからの回答を取得する関数を定義 Deltaテーブルを用いた逐次処理の実行 実行結果の確認 おわりに はじめに ChatGPTのようにチャット形式で回答を得るためにLLMを利用するケースもあれば、社内に蓄積された大量の自然言語データや、今後追加されていくデータを一括して…

#Azure Synapse Analytics#Azure Open AI Service#Apache Spark
テクテク日記•1年前

Fabric Spark notebookを試す①

Microsoft FabricのSpark notebook*1を使用して、Lakehouseの「Files」セクションにあるデータを「Tables」セクションにテーブルとしてロードするプロセスを見ていきます。 learn.microsoft.com Fabricにはデータ処理を効率化するための強力なツールが多数ありますが、特にSpark*2を活用すると柔軟性とスケーラビリティが大幅に向上します。Power BIのPower Queryエクスペリエンスに慣れている方の中には、この作業に馴染みがない方もいるかもしれません。そこで、本記事ではその方法をステップ・バイ・ステップで解説し、備忘録とし…

#notebook#Apache Spark#Data Engineering
APC 技術ブログ•2年前

Databricks Certified Machine Learning Associate合格

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricks Certified Machine Learning Associateに合格しました! credentials.databricks.com 本記事では、試験の概要と試験対策について解説します。 Machine Learningに入門したい方、DatabricksのMachine Learningのコンポーネントを理解したい方にはオススメの試験となっております。 Data Engineer AssociateとProfessional合格に向けた試験対策については、以下のブログに記載しております。 Data …

#Databricks#Databricks Machine Learning#data science#Apache Spark#Lakehouse