差分データ

庶民にも手が届きそうな新築マンションとして、都内のマンション市場に少なくない影響を与えている晴海フラッグ。 ただ、抽選倍率が高すぎて、宝くじ状態になっていた。HARUMI FLAG SKY DUO（50階建て×2棟、総戸数1,455戸のタワマン）の第1期573戸は平均倍率が約15.3倍、最高倍率142倍。 抽選から外れた人は、転売住戸を購入すべきかどうか、悩んでいるのかもしれない。そんな晴海フラッグの転売価格の状況を可視化することにした。 ※投稿23年7月25日（更新24年8月21日） もくじ 当初販売価格と転売価格（24年8月） 転売件数・率の推移（23年6月～） 転売状況の推移（23年6月…

はじめに こんにちは。レバレジーズ、データエンジニアの森下です。 レバレジーズではBigQueryを中心にデータ活用基盤を構築しています。ELT処理は今までEmbulkを使用していましたが、データ更新頻度の向上による社内ユーザーの利便性向上とデータエンジニアの運用負荷軽減を考えて、今年度中に全てFivetranへ移管する予定です。すでにいくつかのRDBやSaaSの更新はFivetranにまかせており、日々その便利さを噛み締めています。 今回は、Fivetranを使った便利なポイントや困ったポイント、注意するべきポイントを紹介いたします。 Fivetranとは？ ELT専用のSaaS…

こんにちは、やまだたいし( https://twitter.com/OrotiYamatano )です。 Unityではmetaファイルごとコピーすることで不都合が生じます。 Unityでmetaファイルをコピーすると生じる不都合はどのようなものなのか、 なぜ発生するのか理屈を分かりやすく説明していきます。 目次 なぜmetaファイルのコピーが問題になるのか？ metaファイルとは？ metaファイルのコピーによる具体的な問題 UUIDの重複とその影響 具体例：3Dモデル、マテリアル、テクスチャを管理するプロジェクト 1. 元のプロジェクトの状態 2 . metaファイルごとマテリアルをコピー…

本記事は AWSアワード記念！夏のアドベントカレンダー 11日目の記事です。 🎆🏆 10日目 ▶▶ 本記事 ▶▶ 12日目 🏆🎆 はじめに ふと、ECRを眺めてて気づいた そもそもOCIってなんぞや Open Container Initiative OCI Artifactってなんぞや ちなみにImage Indexとかってなに？ 結局OCI Artifactはどこで活躍するの？ OCI準拠のイメージ署名 SOCI Indexを利用したLazy Loading まとめ はじめに ozawaです。今年もAllCert継続となりました。引き続きよろしくお願いします。 先ほどエアコンの水漏れ対応工…

6月16日にメモリ増設が完了したので、その日の夜から運用を開始しました。まずはMacBook Pro内の音楽ファイル（572GB）からです。今後、音楽ファイルはNAS上に保管したいので（既にMacbook Pro内に保管されている音楽ファイルは当面残しておくけど、最終的にはMacBook Pro内に音楽ファイルは一切置かない予定）、まずは全ての音楽ファイルをNASにコピーした後、MacBook Proのミュージックアプリのリッピングデータ保存先をNASに設定変更しました。本当はNASに新しく書き込まれたリッピングデータをSoundgenic（ネットワーク上のミュージックサーバー）に自動コピーで…

時系列データで遊んでいたらPythonのライブラリに時系列分析に関するライブラリを見つけた。 時系列データを扱う際、単位根過程を定常過程に変換してから考えるのがセオリーなので単位根検定であるADF検定については度々扱うと思うので実装をまとめておく価値があると思った。 ADF検定関数の構造 1階差分データを渡して検定させた。 結果 ADF Statistic(adf テスト統計量) 時系列データに単位根が存在するかを検定する統計量。単位根過程であることを帰無仮説に検定を行うので負の値は時系列の定常性を示唆する。 p値も0.0となっているのでこの1階差分データはADF検定によって弱定常過程であるこ…

少し前に画像圧縮の研究をしてるという日記を投稿したかと思いますが、 最近 WebP の実際のデコードがわかるようになってきたので実際のデータを使ってデコードしてみます。 最初に まずは以下の WebP ファイルを用意します。 00000000 52 49 46 46 22 00 00 00 57 45 42 50 56 50 38 4c |RIFF"...WEBPVP8L| 00000010 15 00 00 00 2f 07 c0 01 00 0f 30 ff f3 3f ff f3 |..../.....0..?..| 00000020 1f 78 78 95 6a 44 ff a3 0a…

こんにちは！データサイエンスグループの山本です（ @__Y4M4MOTO__ ）です。今年の4月で入社して1年が経ちました。あっという間ですね…。 さて、ヤプリのデータサイエンスグループ（以下、DSグループ）では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Yappli Tech Conference 2023 にて発表しているので、そちらをご覧いただければ幸いです。 tech.yappli.io dbt 移行に伴い、ヤプリの各種サービスが参照しているデータマートも dbt 移行後のものへ切り替えを行っています。昨年1…

皆様、こんにちは！ネットワールド ストレージ担当の島田です。今回はPowerScaleのスナップショットからのリストア機能「SnapRevert」について紹介していこうと思います。 SnapshotIQ まずPowerScaleのスナップショット機能についておさらいしましょう！PowerScaleのスナップショット機能は「SnapshotIQ」と呼ばれ、手動での Snapshot 作成と、スケジュールでの Snapshot 作成が可能です。クラスタで最大20,000 個、 1 ディレクトリ 1,024 個まで取得可能です。 また前もってスナップショットの保存領域を確保する必要はなく、ファイルシ…

Windows Serverバックアップ元とバックアップ先でボリュームのサイズが異なる、差分がある理由について、マイクロソフトのtechnetに情報がありました。 以下は質問の抜粋です。 既存のボリュームのWindowsServerバックアップを他のボリュームで取得しています。 バックアップのボリュームのサイズが、バックアップ元のボリュームのサイズよりも大きくなっています。 バックアップ元のボリュームのサイズは、約30GBであるのに対し、 バックアップ先のボリュームのサイズは、約42GBになっています。 これは、WindowsServerバックアップはシャドウコピーも取っているからなのでしょう…

最初に、能登地震により影響を受けた方々へ、心からのお見舞いを申し上げます。 今回は、地震の影響による、海岸沿いの道路についての状況を確認してみようと思い、衛星画像から差分解析。 いつものようにEObrowserで画像を取得。 場所は、石川県輪島市 三ッ子浜のあたり。 sentinelshare.page.link 雲が多く、比較したのは2023.12.06と2024.01.30を選択した。 差分をとって、改めて見るまでは、意味がよくわからなかったのだが、海岸線沿いに大きな変化が見られる。 左が地震前、右が地震後である。（見やすいよう明るさは変更している。） 差分解析による、差分抽出を実施しでき…