Google File SystemなどのGoogle インフラの上に作られた分散データベース。
複数のテーブル群をまとめる、 Relational DB とは違い、テーブルひとつが論理単位となっている。
Googleが提供する、検索をはじめ、Google Earth、Google Maps、Youtubeなどでも利用されている。
はじめに 皆さんこんにちは! 2月に株式会社ソウゾウ2人目の「ソフトウェアエンジニア(Machine Learning)」として入社しました nao(@nkato_)です。 ソウゾウは、メルカリの新規事業の企画・開発などを担うグループ会社で、現在は「メルカリShops」を手がけています。 「メルカリShops」は、『かんたんで、売れる』をコンセプトにしたEコマースプラットフォームです。 誰でも「メルカリ」上にネットショップを持つことができ、「メルカリ」に個人で出品するのと同じように簡単に、独自集客なしに月間2000万人以上の「メルカリ」利用者に届けることができます。 shops.mercari…
この記事の初出は、Software Design2022年3月号「設計方針から変えていく、モノリシックなアプリの過去と未来(最終回)」で、加筆修正されています。過去の連載記事は以下を参照ください。 第1回 Software Design連載 2021年8月号 Python製のレガシー&大規模システムをどうリファクタリングするか - MonotaRO Tech Blog 第2回 Software Design連載 2021年9月号 「テストが無い」からの脱却 - MonotaRO Tech Blog 第3回 Software Design連載 2021年10月号 スナップショットテストの可能性を…
G-gen の杉村です。 Google Cloud (旧称 GCP) におけるアプリケーション開発者向けの認定資格である Professional Cloud Developer 試験の勉強方法や出題傾向など、合格に向け役立つ情報をご紹介します。 Professional Cloud Developer 試験情報 Professional Cloud Developer 試験とは Professional Cloud Developer 試験の難易度 Professional Cloud Developer 試験の勉強方法 出題範囲と傾向 出題範囲と傾向について マイクロサービス・アーキテクチ…
最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org
はじめに Google Cloud を使い始めているため、色々環境整備をしている。 ローカルで Google Cloud を扱うにあたって、 Cloud SDK というのがあり、これを使って CLI で操作できるので、これをインストールして触ってみる。 Cloud SDK のドキュメント | Google Cloud
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習…
はじめに こんにちは、@shase です。 スタディサプリでは、データパイプラインのツールとして、従来 AWS Kinesis Stream や、Embulk や、AWS Lambda などがよく使われてきました。 ただ、現在開発中のプロジェクトでは、システム間の連携の為、Cloud Pub/Sub が多用されているということもあり、データパイプライン Cloud Pub/Subとの親和性が高いCloud Dataflowを一部取り入れています。 本記事では Cloud Dataflow 自体は詳述しませんが、簡単に説明させていただくと、Cloud Dataflowとは、GCP が提供するマネ…
G-genの荒井(@arapote)です。今回はGoogle Cloudの認定資格をご紹介しようと思います。 Google Cloud を仕事で取り扱う方、興味があって調べている方向けに資格の概要をご紹介しますので、どんな資格が自分に必要か見定めて資格取得を目指していただければと思います。(かく言う私も、資格取得に向けて勉強中です!) ※ 本記事は、2022 年 4 月 22 日現在の情報となります。 Google Cloud 認定資格とは Google Cloud 認定資格を取得するメリット メリット え、限定グッズだって? Google Cloud 認定資格の種類 Foundational…
背景 Bigtableはレプリケーションを有効にしたマルチクラスタ構成にすることで負荷分散、高可用性を保証することが可能です。 一方でマルチクラスタにすることで 単一行のトランザクションが効かなくなる 書き込み後読み取り操作でレプリケーション遅延によりデータの一貫性が担保されない といったデータ整合性での問題が発生します。 今回はその対策としてアプリプロファイルを用いた方法を紹介します。 アプリプロファイルとは cloud.google.com アプリプロファイルはリクエストのルーティングや単一行トランザクションの許可するかどうかを制御する設定です。 各インスタンスであらかじめ作成しておき、S…
背景 プログラミングを勉強しはじめて膨大な勉強量に打ちのめされそうになった経験はあるかと思います。その一つにデータベースがあります。 以前職場でもベテランエンジニアの方が「最近の若いやつはSQLも書けん!」と言っていたのを思い出しました。 一昨年サンフランシスコ、シアトルで2週間ほど一人旅していました。当時エンジニアとして伸び悩んでいた僕は「日本でも抜きん出たエンジニアになるにはどうしたらいいですか?」という質問をシリコンバレーで働くあらゆる企業の方に聞いてまわりました。その中のひとりにFacebookのソフトウェアエンジニアの方がおり、お話しする機会がありました。僕の質問に対しての回答はこの…
この記事はクラウドごとに微妙に違うリソース名を自分用に少しずつまとめていきます。 現状はAWS/Oracle Cloud(OCI)/GCP/Azureをベースにまとめます。 最終更新日2022/1/10 ※勉強しながらのため間違っている可能性があります、引用される際は自己責任でお願いいたします。間違いがありましたらご指摘ください。 比較 コンピュートサービス ネットワークサービス ストレージサービス データベースサービス データ分析 サーバーレスサービス コンテナサービス ML/AIサービス 管理サービス リンク集 比較 コンピュートサービス 種別 AWS OCI GCP Azure VM A…
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Professional Data Engineer 試験 は、 Google Cloud でのデータエンジニアリングに関する難関資格です。 本投稿では試験の合格に役立つ情報を記載します。 試験の 利用規約 において、試験の内容を公開することは禁じられています。 本投稿では試験問題そのものを書くこと等はせず、主にサービスカットで 合格するためには何を知っているべきか を中心に記載します。 "何を知っているべきか" が分かっていれば Google Cloud サービスの公式ドキュメント等を中心とした学習の方向性が…
G-gen の杉村です。 Professional Cloud Architect 試験 は、 Associate Cloud Engineer 試験の上位に位置する Google Cloud (旧称 GCP) の難関認定資格です。本投稿では試験の合格に役立つ、勉強方法や出題傾向などについて解説します。 はじめに Professional Cloud Architect 試験 とは Professional Cloud Architect 試験の難易度 推奨の勉強法 ケーススタディ 出題傾向 組織 / IAM 組織のポリシー IAM の基本概念 オペレーションスイート Cloud Monito…
こんにちは。データ基盤グループの香川です。 本記事は、MonotaRO のデータ基盤の歴史についての社内での発表の文字起こし記事の後編になります。 前編の記事: tech-blog.monotaro.com 前編では データ基盤の変遷の概要 2010年頃のデータ基盤 販促基盤とDWH(2010~2015) データ基盤構想とBigQueryの導入(2015~2017年) 同期システムの改良とBigQueryデータ基盤の展開(2018) までお話しましたが、後半たる本記事では以下について説明をしていきます。 他システムへのデータ提供とEC基盤の展開(2018) 2020年におけるデータ基盤へのデー…
虎の穴ラボのかのたんです。Fantiaでエンジニアチームのリーダー的なことをやっています。 アドベントカレンダー20日目はいわみーさんの「PMBOKガイド 第7版に付属する『プロジェクトマネジメント標準』を読んでの感想」でした。 toranoana-lab.hatenablog.com 私は前回の資格試験に続きAWSの記事を書いていますが、サービスの都合で直近の業務ではGCPを使っていることが多いです。 本日はAWSにおけるNoSQLデータベースの紹介をさせていただきます。 NoSQLとは 分類としては「リレーショナルデータベース(RDB)以外のデータベースの総称」であり、一般的に「Not o…