GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
忙しい人向け タイトルの通りですが、N GBオーダのスパースなファイルを gzip -d して開発マシンに解凍している人に向けた spdc というツールを作成しました。 このツールを使うと、gzipで圧縮されたファイルをスパースなファイル として解凍できます。 github.com スパースファイルとは？ 初めにスパースなファイルについて説明します。 面倒なので ChatGPT-4.0 に任せます（隙あらば課金自慢） スパースファイルとは、実際には空であるが、システムに対してはデータが存在するかのように振る舞う特殊なファイルのことを指します。この種のファイルは、大量の0の連続部分（つまり、何も…
はじめに 実行環境 まずは、ファイルを圧縮する 解凍せずに、zipファイルに含まれるファイル一覧を表示する 解凍せずに、gzファイルの中身を閲覧する 解凍せずに、gzファイルの中身を部分的に閲覧する まとめ 参考資料 はじめに Linux/Mac環境では圧縮されたファイルの中身を閲覧するときに、 わざわざ、ファイル解凍をしなくても、中身を確認することができます。 ただし、圧縮形式によっては、 複数ファイルを一緒に圧縮できる形式(zipやtar.gzなど)であるのか、 1つずつのファイルごとに圧縮する形式（gzなど）であるのか が変わってきます。よって、ファイルの中身の表示され方も変わってきます…
圧縮と暗号は大事 匿名化に加えてこれら3つは3大PCリテラシーだと思います パスワード付きPDF ちょっとした書類ならコレで良いと思う プレビューで何らかをpdfを保存するときに 「アクセス権」→「書類を開くときにパスワードを要求」にチェック 専用パスワードを確実に打ちこむ 「アクセス権」の設定でさらに改竄防止を見込める 例外的な許可を出さずにパスワード設定すればおk PDFの仕様なんてそうそう変わらんし，深くは追求しません，汎用性も低いでしょうし… パスワード付きで暗号と圧縮 ちょっとしたデータならコレで良いと思う 基本的にFInderからGUI経由で行うことが無理な（オプションが呼び出せな…
こんにちは。 エキサイト株式会社の三浦です。 APIなどからのレスポンスは、サイズが小さいに越したことはありません。 レスポンスサイズを小さくする方法の1つに、レスポンスをgzipで圧縮するという方法があります。 API側でレスポンスをgzip圧縮して送信し、受け取り側で解凍して使用するというやり方です。 ですが、実はJavaのRestTemplateは、デフォルトではgzip圧縮したレスポンスを使うことができません。 ここでは、RestTemplateを使ってgzip圧縮されたレスポンスを使用できるようにする方法を説明します。 レスポンスのサイズ APIなどから受け取るレスポンスのサイズは、…
gzip圧縮について調べたのでまとめる。 概要 gzip - Wikipedia gzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。 圧縮を有効にする | PageSpeed Insights | Google Developers 最新のブラウザはすべて gzip 圧縮に対応しており、すべての HTTP リクエストで自動的に圧縮のネゴシエーションを実施します。gzip 圧縮を有効にすると、転送されるレスポンスのサイズが最大で 90% 削減されるため、リソースのダウンロード時間の大幅な短縮、クライアントのデータ使用量の削減、最初のページ レンダ…
この大会は2023/9/16 1:00(JST)～2023/9/18 1:00(JST)に開催されました。 今回もチームで参戦。結果は560点で1098チーム中335位でした。 自分で解けた問題をWriteupとして書いておきます。 r u alive (Start here) (misc) Discordに入り、ルールの12番目を見ると、フラグが書いてあった。 csawctf{and_fr0m_humb1e_b3gining5_we_ri5e} AndroidDropper (misc) Webページ上にbase64文字列がある。CyberChefでbase64デコードした後、0x2aとXO…
こんにちは、lisです！ 仕事用にと思いLubuntu環境構築をしています。 今回はターミナルアプリをAlacrittyに変更してみました。
相当久しぶりのブログになってしまっていますが細々と生きてます。 まぁタイトル通りのどん詰まりになってしまってるんで、頭の中身整理ついでに状況をメモしておこうかと。
OpenTelemetry コレクターのレシーバーとして Host Metrics Receiver を使用することで、Collector 自身をエージェントとしてホストのメトリックを収集できます。これは、Mackerel で従来の mackerel-agent を使用してホストメトリックを収集する方法に相当します。 この記事では、Host Metrics Receiver を使用してホストメトリックを収集し、Mackerel に送信する方法をご紹介します。 Host Metrics Receiver を使用する OpenTelemetry コレクターをカスタムビルドする ビルダーをインストー…
はじめに この記事は、Burp Suiteのリリース内容について抄訳した内容と筆者の気になるポイントを記載しています。 Burpを使用して診断を行う方を対象にしていますので、バグ修正のような細かい変更点については本記事で触れない場合がございます。 原文をご確認されたい方は、公式のリリースノートをご覧ください。 portswigger.net Brotli圧縮のサポート サポートされる圧縮タイプのリストに Brotli を追加しました。 Brotli で圧縮されたメッセージをProxyとRepeaterで解凍することができます。 Montoya APIの変更 Montoya API を介して B…
せっかく作成したゲーム。 遊んでもらえないと悲しすぎる。遊んでもらうためには、公開する必要があるわけで。 とはいえ、いきなりSteamやApp Storeは敷居が高すぎる。 ありがたい事に、自作ゲームを公開できる場所は、他にも色々あるようで、 僕は下記の3つのサイトを利用する事にしました。 ・Unity Room ・ふりーむ！ ・PLicy 「ふりーむ！」は公開までに、しっかり数日ほど審査が入るので、面倒ではあるけれど その分、信用は高いイメージですね。 各サイトへのアップロード方法ですが、基本的にはそのサイトの説明を参照する事になるんですけど、細かいところがちょっと分かりにくい感じなので、備…
Unityプロジェクトのバージョン管理にGitHubを使用している場合、GitHub ActionsワークフローでWebGLビルドを行ない、そのままGitHub Pagesに公開する方法を紹介します。 GitHub Pagesは、GitHubリポジトリに紐づく静的コンテンツをホスティングできる機能です。 公開できるサイズが10GB以下ということと、たとえprivateリポジトリであってもGitHub Pagesにはアクセス制限はかけらない*1という制限がありますので注意してください。 Unity - Builder アクション ビルドには、GameCIの提供するUnity - Builder …
こんにちは。 ディベロップメントサービス１課の山本です。 監査ログなどにも利用されるVPCフローログをKinesis Data Firehose(以下、Firehose)経由でAmazon S3(以下、S3)にファイルとして保存する方法を紹介します。 主に2つの方法があるのですが、今回は自分が構築時につまずいた Amazon CloudWacthLogsを経由する方法をご説明します。 Amazon CloudWacthLogs経由でFirehoseへと送信する方法(今回説明) VPCフローログから直接Firehoseへと送信する方法 つまずいた点 1. 現象 2. 原因 3. 解決策 構築方法…
ヤフー株式会社より出向しております、卯田と申します。 主務で、一休.comおよびYahoo!トラベルのフロントエンド開発を担当しています。 兼務で、ヤフー株式会社の全社横断組織でWebパフォーマンス改善の推進を行っております。 本稿では、直近半年弱(2023年2月〜8月)で、断続的に行っていた一休.comのパフォーマンス改善について振り返ります。 開始が2023年2月となった理由は、Nuxt3バージョンアップ以降にパフォーマンス改善活動に着手したためです。 一休.com/Yahoo!トラベルのNuxt3バージョンアップ詳細については、以下のブログをご覧ください。 user-first.ikyu…
自分は、仕事でScalaを数年間・プライベートな経験を含めると10年弱のScalaの経験がある、そこそこの熟練Scalaエンジニアだ。チームにメンバーが入ってきたり他人に勧めるたびにScalaの環境構築を教えている一方、最新の知見を反映した記事が無くて他人に勧めづらかったので、自分が書くことにした。 現在ある記事 けっこう古びている 覚えながら書かれていることが多いのでやや曖昧な箇所がある(でもありがとう！) 最新のツールが利用できておらず無駄が多い 網羅的でない 今回目指す内容 最新の知見を活用して最短距離を目指す 何もない状況から一通りのツールが揃う所を目指す Scalaの環境構築は年を追…
目次 目次 概要 Web開発における「リソース」とは オリジンとは オリジンへのネットワークアクセスについて Same-origin policyとは 別オリジンのリソースへのアクセスだけどSame-origin policyの制約がないものについて CORSとは CORSを利用する際のざっくりとした手順 別オリジンにHTTPリクエストをする際の2つのリクエストについて シンプルリクエストとは プリフライトリクエストとは Same-origin policyやCORSが存在する理由 補足) CSRFとは ここまでのSame-origin policyとCORSについてのまとめ Same-ori…
ソース： k4pil.medium.com 脆弱性：IDOR 訳： IDORとは一体何なのでしょうか？ Web アプリケーションでは、ユーザーがサーバーからリクエストを生成、送信、受信するたびに、ユーザーに割り当てられた固有の値を持つ「id」、「uid」、「pid」などの HTTP パラメーターがいくつか存在します。攻撃者は、Cookie、ヘッダー、または Wi-Fi パケット キャプチャでそのようなパラメーター値を確認できます。 これにより、攻撃者はこれらの値を改ざんできる可能性があり、この改ざんにより IDOR (Insecure Direct Object Reference) の脆弱性…
ソース： medium.com 脆弱性：CSRF 訳： クロスサイト リクエスト フォージェリ (CSRF) とは何ですか? クロスサイト リクエスト フォージェリは、基本的に Web ブラウザをだまして、ユーザーがすでにログインしている脆弱なアプリケーションで望ましくないアクションを実行させる Web アプリケーションの脆弱性攻撃ベクトルで。CSRF 攻撃が適切に成功すると、ユーザーと組織の両方に悲惨な結果をもたらす可能性があり。 CSRF 攻撃は、電子メールの変更、パスワードのリセット、プロファイルの更新、アカウントの乗っ取りを引き起こす可能性があります。 CSRF は実際にどのように機能…
ラベル付きメトリックのチュートリアル このチュートリアルでは AWS の ECS 上で稼働している Nginx を対象に、ゼロからラベル付きメトリックを収集して Mackerel のダッシュボード上でグラフを表示するところまでをゴールとします。 なお、Mackerel のラベル付きメトリック機能は本記事執筆時点（2023 年 9月）でベータ版となっています。そのため、Mackerel のウェブコンソール上の画面は実際のものと異なる場合があります。 現在、「ラベル付きメトリック機能」ベータ版テストの参加者を募集しています。下記のフォームよりベータ版テストへの参加お申し込みをいただけます。 for…
nginxとは nginxはロシアのIgor Sysoev氏によって開発されているWebサーバ兼リバースプロキシのソフトウェア。 - 静的なコンテンツを提供するWebサーバ 動的なコンテンツはnginx単体では提供できない。Webアプリケーションサーバと連携することにより動的コンテンツを提供する。 Webアプリケーションとの連携 nginxではWebアプリケーションを（apacheのmod_phpやmod_wsgiのように）Webサーバ自体に組み込んで動作させることはできないため、WebアプリケーションをFastCGIやSCGIやuWSGIに対応したアプリケーションサーバ上で動作させて、ネット…
hyper-text.org
qiita.com
qiita.com
oku.edu.mie-u.ac.jp
blog.shibayu36.org
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
