2021-01-31 重複排除とは 重複排除とは、バックアップの際に対象データを解析し、重複データを自動的に検出して排除する技術です。英語では De-duplication と表記され、「デデュプリケーション」「デデュープ」などと表現されることもあります。 大容量のデータをいかにして保管しておくか。これは多くの企業が抱える課題です。データの重複をなくすことで、バックアップする際のデータ転送量や格納容量を大幅に削減できます。 出典:FUJITSU NetApp の重複排除について NetApp の重複排除機能は、次のような点で優れていると言われています。 NetApp 製またはサードパーティ製の…
Microsoft Listsでは、参照列を使用して複数のListsを組み合わせたテーブル構成ができます。 本記事では、参照列を使用した手順とTipsについて記載します。 前提条件 参照列の利用方法 Tips 新しいアイテムの列構成を変更する 参照列で追加した列名を変更する 選択肢種類の列を参照列で使用する おわりに 前提条件 ストアアプリのMicrosoft Listsでの作業を前提としていますが、ブラウザアプリの操作でも同様の手順で対応可能です。 以下のようなサンプルAとサンプルBのListsを用意します。 「識別番号」列をキーにして、サンプルAの「商品」と「単価」をサンプルBに表示させま…
こんにちはマネージドサービス部 大城です。 前回のブログ の続きを書きます。今回は Python で試してみます。 New Relic APM をインストールした後、ボトルネックがどこにあるのか確認して、少しだけチューニングします。 前準備 やってみた チューニングなしの状態 ベンチマーク1回目 New Relic画面確認(チューニングなしの状態) indexを作成する ベンチマーク2回目 New Relic画面確認(index作成後) N+1(エヌプラスワン)問題の解消 ベンチマーク3回目 New Relic画面確認(N+1問題解消後) 参考 ボトルネックはどこから手を付ければよいか 生成A…
前回の議論で、任意の対訳本の各文において重要語句の語義の注釈を生成する方法を確立した。今回は、そのデータを使って、実際の作品を使ったWebサイトおよびKindle書籍を作成し、公開する。
let mut vec = vec![1,2,3,1,2,3]; vec.sort(); // これが無いと重複排除されない vec.dedup(); println!("{:?}", vec); // [1, 2, 3] mebee.info
目次 目次 はじめに どんなひとに読んで欲しい AWS が提供するファイルストレージサービス Amazon FSx の種類 Amazon FSx for Windows File Server のメリット Amazon FSx for Windows File Server のデメリット おわりに お知らせ はじめに こんにちは、エーピーコミュニケーションズ クラウド事業部の高橋です。 この度、はじめてブログを書かせてもらうことになりました!これからよろしくお願いします! 記念すべきはじめてのブログは、AWS のファイルストレージサービスである Amazon FSx について書いてみたいと思い…
ボードゲームアリーナでも遊べるボードゲーム、キャントストップ・エクスプレス(Can't Stop Express)の効率の良いプレイを目指し、ダイスの出目の確率を計算するプログラムを作成して検討してみた。 boardgamearena.com キャントストップ・エクスプレス(Can't Stop Express)とは 大まかなゲームの流れは以下の通り。 ダイスを5個振る 5つのダイスを「ダイス2つのペア2組」と「第5のダイス」に分ける 2.の組み合わせから1つを選びスコアパッドに記入する 記入ができなくなったら、そのプレイヤーはゲーム終了 全プレイヤーがゲーム終了した際に、スコアが最も高いプレ…
書籍「System Design Interview : Mastering Basic Introduction to System Analysis and Design」を読んだので内容をまとめる。 以下の内容は、ほとんどClaude3 Opusを使用して作成している。 CHAPTERごとの要約 CHAPTER 1: SCALE FROM ZERO TO MILLIONS OF USERS システム設計における基本的な概念と、シンプルなサーバー構成から数百万ユーザーをサポートする分散システムまでの段階的なスケーリングの方法を解説。垂直スケーリングと水平スケーリング、データベースのレプリケ…
どんな本? Prometheus の概要から実践的な運用ノウハウまでまとまっていて、それを日本語で読めるのがポイント。 また、雑多になるのでここにはメモしてないが PromQL の解説も詳しいので、クエリの書き方に迷ったときの辞書としても便利そう。 Prometheus のアーキテクチャ Prometheus のシステムを構成するコンポーネントは主に次の四つ: Prometheus Server: Prometheus 本体。Exporter から受け取ったメトリクスを保存してクエリの実行を担う。 Exporter: メトリクスの収集。監視したい対象に合わせて必要なものを導入する。種類は非常に…
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤(@i_125)です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。
Other Languages Chinese / 中文 English Spanish / español / castellano Japanese / 日本語 German / Deutsch French / français Arabic / al arabiya / العربية Portuguese (Portugal) Russian / Русский язык IDCの調査によれば、今後2年間で、ほとんどの企業はハイブリッドクラウドやマルチクラウドを組み合わせて、クラウドネイティブプラットフォームを構築する方針を選択する見込みです。企業のクラウドアプリケーションが拡大する…
初めまして。デジタル・トランスフォーメーション推進開発部のH・Sと申します。 先日、初の試みとして、社内のAWS事業推進チーム内で自由研究の発表を行いました。 今まで触れたことのない、または気になっているAWSサービスをテーマとして取り上げて検証してみよう、という思いから、自由研究を行うこととなりました。 発表者は、調査内容や検証結果をまとめて、15分~20分の持ち時間で発表しました。新入社員の方々や先輩社員の発表を聞いて、自分には思いつかなかったテーマもあり、とても勉強になりました。 チーム内で、せっかくなら調べたことをブログにまとめてみては?ということになり、今回こちらの記事を書くこととな…
DNSは趣味でやっているだけですし有識者のレビューを経ているわけでもないので誤りを含むかもしれませんが、DNS界隈には優しい人しかいないのできっと丁寧に指摘してくれるはずです。 追記:めちゃくちゃ丁寧にレビューしていただいたので修正いたしました。森下さんほどの方に細かく見ていただいて恐れ多いです...(学生時代に某幅広合宿で森下さんの発表を見てDNSセキュリティに興味を持った) 4万文字を超える大作、おつかれさまです。わかりやすく書けていると思いました。ざっと読んで、コメントしてみました。ご参考まで。https://t.co/bVj5WeFHQr https://t.co/ku5NOx6ua8…
2023年11月15日に筆者が受けた問題全160問を備忘録として掲載していきます。 ※問題数が多いので、40問ずつ分けて記事にしていきます。 ※回答は本番の試験では確認することができないので、需要があれば調べて記事に回答を載せていきます。 (GAITについて)
クラウドベースデータ管理サービス市場は、2023年の402億米ドルから2028年には1,417億米ドルに成長すると予測され、予測期間中の年間平均成長率(CAGR)は28.7%です。クラウドベースのデータ管理サービスは、迅速な展開、設備投資とメンテナンスコストの最適化など、企業に重要なメリットを提供するため、非常に重要です。また、企業をよりダイナミックにし、ビジネス要件が変化する中で時代のニーズとなっています。このようなメリットとともに、データ・セキュリティ、移行、バックアップ、リカバリなどのいくつかの制約は、適切に管理されない場合、市場の成長に影響を与える可能性があります。クラウドベースのデ…
AWSにクラウドでの設計・デザインパターンに関する記事があったので、読んでみました。 後で読み返すかもと思って日本語の記事も見てみましたが、機械翻訳しかも文がめちゃくちゃだったので日本語訳してみました。 英語のオリジナル記事:Cloud design patterns, architectures, and implementations - AWS Prescriptive Guidance 日本語訳の記事:クラウド設計パターン、アーキテクチャ、実装 - AWS の規範的ガイダンス 2023年9月に最終更新されている記事を2023年12月末にアクセスしました。 今後、このガイダンスが更新され…