1PB = 1024TB(テラバイト) = 1,048,576GB(ギガバイト) = 1,073,741,824MB(メガバイト) = 1,099,511,627,776KB(キロバイト) = 1,125,899,906,842,624B(バイト)
まだ辞書に載っていない中国語の新語をひたすら書き連ねていきます ビッグデータ（big data） 従来のデータに比べ、桁外れに大量でものすごく複雑多彩なデータの集まりのこと。ビッグデータはネットワークを介してリアルタイムでやり取りされ、処理される。 ビッグデータの世界では、もはやTB（テラバイト）じゃ足りず、PB（ペタバイト）、EB（エクサバイト）、ZB（ゼタバイト）、YB（ヨタバイト）なんかが使われているというから大変です。 大陸大数据 [dàshùjù] 台湾巨量資料 [jùliàng zīliào]／大數據 [dàshùjù] 大数据は直訳ふうですが、 巨量資料は意味から訳した感じですね…
"ブログを書くまでがYAPC"ということで、オンライン配信で参加した感想をブログに書きます。 YAPC::Kyoto 2023の発表者・参加者・スタッフの皆さまお疲れ様でした。 配信を見始めたのが12時過ぎからだったので午前中の発表は見れなかったのですが、見た発表の中でいくつか感想を書きたいと思います。 印象に残った発表 マルチテナントの実現における技術選定の審美眼とDB設計 ~ PostgreSQLを添えて ~ タイトルに「PostgreSQLを添えて」とありましたが、メインディッシュがPostgreSQLの発表だったなという感想です。 "Row Level Security"があるという存…
1. この記事について 著者、Yoshisuarが参加したYAPC::Kyoto 2023に関するブログです。 「ブログを書くまでがYAPC」 ということで、自分がYAPCで体験したことを皆さん共有できればと思います。 2. ブログの著者、Yoshisaurについて 沖縄の琉球大学で情報工学を学んでいる大学生です。 好きなエディタはVim、好きな言語はGolang、Web、機械学習、低レイヤーあたりの技術に関心が高いです。 Twitterアカウントです。是非、フォローしてくださいませ。 以降がブログ記事のメインのコンテンツとなります。 3. YAPC::Kyoto 2023とは 3.1. そも…
Q. オンプレミス環境にある稼働中の多数のサーバー処理によって実行される40台あまりのサーバーをAWSに移行するのに最適な方法はどれですか？ AWS Application Migration Service (AWS MGN): アプリケーションとサーバーの移行を支援するサービスです。 オンプレミスにある物理インフラ、仮想インフラおよびAzureなどの他のクラウドサービスにあるサーバーや 仮想マシンのサーバーソフトウェアを変換して、移行を自動化します AWS Server Migration Serviceというサービスが以前は利用されていましたが、SMSは2022年3月31日に廃止されてお…
昨日 に引き続き、今日は Perl 神社 に来ていますので、自分用にメモを残しておきます。 オープニング YAPC Kyoto 成功祈願の様子の動画 開発成就、成果達成！ YAPC Kyoto 2020 年から３年ぶりに焼き直し Reboot 蓋付きペットボトル、会場配布のもの、以外は飲食禁止 禁煙 疫病対策はマスク、アルコール消毒、ソーシャルディスタンス no photo のタグを付けてる人は写真を撮らないよう CoC 守りましょう #yapcjapan 、 #yapc_sp #yapc_gy 、 #yapc_do Perl神社の参拝回数、金額に上限はありません（ TPF に寄付） Help…
ビッグデータとは何か、その基本的な概念と特徴を理解することはとても重要です。ビッグデータは、従来のデータ処理方法では扱いきれない大量かつ多様なデータのことを指します。 その特徴として、3Vと呼ばれる大量性（Volume）、多様性（Variety）、高速性（Velocity）が挙げられます。このような大量のデータから、有益な情報を抽出し、ビジネスや社会問題の解決に活用することが期待されています。 またビッグデータを活用するためには、データの収集、処理、解析が必要であり、それには統計やプログラミング、データ可視化などのスキルが必要です。ビッグデータの重要性を理解するために、まずはその基本的な概念と…
こんにちは。yuoreiです。今回のブログはタイトルにもあるようにMIXI Bug Shooting Challenge に参加してきたことについてです。 MIXI Bug Shooting Challengeとはなにか Bug Shooting Challengeは、新入社員研修で実施し、受講者から大変好評だった「不具合調査研修」のコンテンツをもとに、エンジニア学生のみなさん向けに開催する1day技術ワークショップです。 問題として用意されたユーザーからの問い合わせを読み、 ログやソースコードからシステムの不具合を見つけ出し修正まで行うワークショップです。 システムの不具合を見つけ出すには、…
Building Data Engineering Pipelines with Snowpark for Python medium.com Snowpark で実現するデータパイプライン処理に関するチュートリアルが公開されており、そのチュートリアルに関する概説です。 去年 SnowPro Core の試験を受けた時には全く出題されませんでしたが、Snowpark は Python, Java, Scala などのプログラミング言語を通じて Snowflake と連携ができる機能や、そのクライアントライブラリを指すようです。DataFrame に対するプログラムが、ライブラリ内にて Snow…
データを管理する上で大切なのが、そのデータ容量です。メガバイトやギガバイトなど、耳にすることは多いですが、では、何メガバイトが何ギガバイトに当たるのかご存知ですか？そもそも、1メガバイトとは？日常でよく使われている言葉ですが、これらは何を意味しているのでしょう？今回は、データ容量の単位について詳しく説明していきます。 1bit（ビット）とはなに？ 1Byte（バイト）とはなに？なぜ8bit＝1Byteなの？ データ容量の単位と換算 CPUのbit数はどれくらいあるの？ パソコンのCPUのbit数 スマートフォン・iPhoneのCPUのbit数 ゲーム機のCPUのbit数 写真や動画はどのくらい…
同僚に教えてもらった DuckDB について目につく記事が出ていたので読んでみましたが、DuckDB の根本思想とも言うべき記事でした。 BIG DATA IS DEAD motherduck.com DuckDB は、PC上で分析してしまおうというスケールアップの考え方で開発されている分析用データベースです。近年のハードウェアは性能向上が目覚ましく、クラウドでも例えばAWSが登場した2006年当時のEC2 インスタンスはシングルコア・2GB RAM のインスタンスしか選択肢がありませんでした。しかし今日では標準的なインスタンスは64コア・265GB RAM を搭載しており、メモリに特化したイ…
ストラテジ系・損益計算書・貸借対照表など財務諸表からの問題 (営業利益・経常利益・自己資本利益率など) ・損益分岐点個数・売上高を出す問題 ・不正アクセス禁止法の規制対象について ・著作権で保護されるものについて ・特許権・実用新案権・意匠権・商標権のどれに該当するか ・企画プロセス，要件定義プロセス，開発プロセス，運用プロセスに分けたときにどれに該当するか ・BCP・BCMについて ・SWOT分析について(強み・弱み・機会・脅威の分類) ・公益通報者保護法について ・不正競争防止法や営業秘密に関して ・個人情報保護法で規制対象について ・労働者派遣に関する問題 ・PPM(花形・金のなる木、問…
どの国にも銀行にも所属しないお金というところに魅力を感じ、日本に何かあった時のためビットコインをちょびっと持っているのですが、量子コンピュータがビットコインの暗号技術を破ってしまうのではないかという話を聞いたことがありました。 量子コンピュータ 量子力学については以前、物理学の先生の本を読みましたが、今回は、「驚異の量子コンピュータ 宇宙最強マシンへの挑戦」(2019年)を読んでみました。2019年出版の本なので、今はもっと技術は進んでいるのだと思います。 ddh-book.hatenablog.com 本書には、コンピュータの歴史から量子力学と情報処理がどのように結びついたのかなど詳しく書か…
【訂正】2023/1/27 13:53 ... ブログエントリ公開時, 採択したトークの一覧に鈴木 正樹(SUZUKI Masaki)さんの｢CloudWatchエージェントとCloudWatchで行うアプリケーション監視｣の記載が漏れておりました. お詫びして訂正いたします. 【訂正】2023/1/27 16:02 ... 手違いにより, Yusuke Wadaさんのトークのタイトルを誤って記載しておりました. 現在は修正済みです. 皆さんこんにちは, YAPC::Kyoto 2023実行委員会の id:papix です. まず初めに, YAPC::Kyoto 2023のスピーカー募集に応募…
レーザーマーキングは、集中光のビームを使用して表面に永続的なマークを作成するプロセスです。通常、ファイバー、パルス、連続波、グリーン、または UV レーザー マシンで実行されるレーザー マーキングは、さまざまなアプリケーションを網羅しています。レーザーマーキングは、焦点を合わせた光ビームを使用して材料の表面にマーキングします。ビームが材料の表面と相互作用すると、材料の特性と外観が変化します。この集中ビームは指定された領域のみをターゲットにするため、レーザー マーキング マシンは正確で高品質、高コントラストのマークを作成できます。このマークは実質的にあらゆる表面で読み取りやスキャンが容易です。こ…
今回はNutanix Objects Storageを構築してみます。Objectsは、Nutanixがネイティブに提供しているオブジェクトストアサービスで、AWS S3互換のREST APIインターフェイスを使用して設計されており、ペタバイト単位の非構造化データや機械生成データを処理できます。 Objectsは、サードパーティ製品などと連携したバックアップや長期保存、またアプリケーション開発者がS3互換のHTTP REST APIリクエストを使用して、さまざまな場所からオブジェクトに簡単にアクセスできるといったユースケースがあげられます。また、Nutanix Mineでも内部的に使用されます…
この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方はエントリが結構残ってるので、引き続き空いてる枠への参加をお待ちしてます！ qiita.com qiita.com 今回は、Hadoopクラスタ管理者の視点で、データ基盤としてTiDBの使い所について考えてみ…
www.publickey1.jp
game.watch.impress.co.jp
gigazine.net
gigazine.net
gigazine.net
www.gamespark.jp
gigazine.net
xtech.nikkei.com
gigazine.net
