GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
圧縮と暗号は大事 匿名化に加えてこれら3つは3大PCリテラシーだと思います パスワード付きPDF ちょっとした書類ならコレで良いと思う プレビューで何らかをpdfを保存するときに 「アクセス権」→「書類を開くときにパスワードを要求」にチェック 専用パスワードを確実に打ちこむ 「アクセス権」の設定でさらに改竄防止を見込める 例外的な許可を出さずにパスワード設定すればおk PDFの仕様なんてそうそう変わらんし，深くは追求しません，汎用性も低いでしょうし… パスワード付きで暗号と圧縮 ちょっとしたデータならコレで良いと思う 基本的にFInderからGUI経由で行うことが無理な（オプションが呼び出せな…
こんにちは。 エキサイト株式会社の三浦です。 APIなどからのレスポンスは、サイズが小さいに越したことはありません。 レスポンスサイズを小さくする方法の1つに、レスポンスをgzipで圧縮するという方法があります。 API側でレスポンスをgzip圧縮して送信し、受け取り側で解凍して使用するというやり方です。 ですが、実はJavaのRestTemplateは、デフォルトではgzip圧縮したレスポンスを使うことができません。 ここでは、RestTemplateを使ってgzip圧縮されたレスポンスを使用できるようにする方法を説明します。 レスポンスのサイズ APIなどから受け取るレスポンスのサイズは、…
gzip圧縮について調べたのでまとめる。 概要 gzip - Wikipedia gzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。 圧縮を有効にする | PageSpeed Insights | Google Developers 最新のブラウザはすべて gzip 圧縮に対応しており、すべての HTTP リクエストで自動的に圧縮のネゴシエーションを実施します。gzip 圧縮を有効にすると、転送されるレスポンスのサイズが最大で 90% 削減されるため、リソースのダウンロード時間の大幅な短縮、クライアントのデータ使用量の削減、最初のページ レンダ…
github.com ddl: DROP TABLE/VIEW/SEQUENCE now use XXXStmt as parameter by lance6716 · Pull Request #35741 · pingcap/tidb · GitHub DROP TABLE/VIEW SEQUENCEがast.DropTableStmtなどの引数を利用するようにしています。 metrics: add loading region cache duration by you06 · Pull Request #34679 · pingcap/tidb · GitHub loading reg…
前回の続きです． fumimaker.net https://japan.xilinx.com/products/som/kria/kv260-vision-starter-kit/kv260-getting-started/getting-started.html これにそってとりあえず動かしてみたいと思います．どうやらSmartcamというデモを動かすことができるみたいです．IASコネクタのカメラ以外にもUSBカメラが使えるみたいです．これは助かる．(ただしRAWで出力できる解像度とフレームレートに制限されます．普通のUSB2.0の安価なカメラだと720p5fpsくらいしか出力できないかも…
6/25 - 6/27という日程で開催された。zer0ptsで参加して8位。 他のメンバーが書いたwrite-up: ACTF 2022 writeup - ふるつき [Web 145] gogogo (118 solves) [Web 434] poorui (27 solves) Prototype Pollutionを見つけるまで gadget探し その1 gadget探し その2 つらい [Web 145] gogogo (118 solves) EmbedThis GoAhead 5.1.4上で以下のようなCGIスクリプトが動いている。それだけ。 #!/bin/bash echo -…
こんにちはRed Hatでソリューションアーキテクトをしている石川です。 過去にもOpenShiftでCI/CDの機能を提供するOpenShift Pipelinesについて何度かご紹介してきましたが、今回はOpenShift Pipelinesのv1.7からTech Previewとして利用可能となったTekton Chainsというコンポーネントについて試してみたいと思います。 ATTENTION! Tech Preview機能の位置付けについてはこちらのページを参照して下さい。 そもそもOpenShift Pipelinesとは何か？について知りたい方は過去記事をご参照下さい。 rheb…
こんにちは、唄うエンジニア、miyajima です。 仕事の中でAmazon Athenaを利用する機会があったため、今回はそのAmazon Athenaを使った性能比較を試してみました。 Amazon Athena とは - Amazon Athena Amazon Athena はS3に保存されているファイルのデータをSQL形式のクエリで直接検索することができるサービスです。 大量のデータを高速に分析、検索することができ、また一度テーブル定義すれば、あとはS3にファイルを置くだけで検索できるようになるのでデータの追加変更も容易です。またサーバレスですから費用は検索に使用した分だけとなり、運…
本当はあまりPowershelをは使いたくないが，需要に駆られたので適当に対策した時のメモ… 最近になってようやくtarとgzipが使えるようになったらしい，あまりにも最低限すぎるだろ コード ls | ? { $_.Name -match '.*.mp4'} -outvariable files | tar -cf 'xxx.tar' $files | gzip -9 'xxx.tar' 最大圧縮以外あり得ない
R&D Architectグループの辻田です。SBB*1 2回目の登場です。 今回は【R&D DevOps通信】連載の5回目として、Kinesis Data Firehoseを使用したログのETL処理について書こうと思います。 CloudWatch Logsサブスクリプションフィルタ + Kinesis Data Firehose + Lambdaを使用してログをETL処理し、S3へ出力したデータをAthenaテーブルに読み込み、Redashからクエリできるような仕組みです。これらのリソースをTerraformで構築する方法を紹介していきます。 *1:本ブログSansan Builders B…
これは、なにをしたくて書いたもの？ 以前、OpenSSLとnmapを使って、サーバーが対応しているSSL／TLSプロトコルや暗号化アルゴリズムを確認する方法を調べてみました。 サーバーが対応しているSSL／TLSプロトコルを確認する（openssl s_client、nmap） - CLOVER🍀 他に、この用途ではtestssl.shというツールが便利そうなのでちょっと試してみることにしました。 testssl.sh testssl.shは、サーバーのサポートしているSSL／TLS暗号化、プロトコル、最近の暗号化の血管などについてチェックしてくれるツールです。 testssl.sh is a…
DNAシーケンシングの技術進歩に伴い、バクテリアゲノムのショートリードによる全ゲノムアセンブリ（WGA）は、ごく一般的な作業となっている。ゲノムのアセンブリプロセスには絶対的な黄金律がなく、多くの異なるツールを組み合わせて一連のステップを実行する必要がある。しかし、最終的なアセンブリの品質は、常に入力データの品質と強く関連している。このことを念頭に置いて、本著者らはWGA-LPを開発した。このパッケージは、微生物解析のための最先端のプログラムと、サンプルとアセンブリ結果の両方の品質をチェックし改善するための新しいスクリプトを接続するものである。WGA-LPは、保守的な汚染除去アプローチにより、…
Redshift で分散スタイル変更時の VACUUM 要否を確認してみた。 EVEN分散->KEY分散に変更した場合 テーブル作成 dev=# drop table public.customer cascade; dev=# create table public.customer ( c_custkey integer not null, c_name varchar(25) not null, c_address varchar(25) not null, c_city varchar(10) not null, c_nation varchar(15) not null, c_reg…
storybookを共有したいなど、GCSに静的ファイルを配置しつつもそれを限定したメンバーだけに見せたいような用途ではアクセスを簡単かつ確実に制限するために、その制限にIdentity Aware Proxyを使いたくなることがあります。 しかし、Identity Aware ProxyはBackend Serviceに紐付けることはできますが、Backend Bucketに紐付けることはできません。Cloud Armerも同様です。 そこで、Backend ServiceとしてGCSのコンテンツを配信できるように、Proxy Serverを作りました。 github.com ghcr.io…
「ゼロから作る Deep Learning」を読んで、Python ではなく C# でゼロから作ってみる試み中。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者:斎藤 康毅オライリージャパンAmazon 今回は、本書「3.6.1 MNIST データセット」で MNIST データセットを扱うときに使う mnist.py を C# に移植してみた。 using System.IO.Compression; using NumSharp; namespace MnistSharp; public static class Mnist { private…
SECCON Beginners CTF 2022 Web writeup #ctf4b お疲れ様でした～！IPFactoryで出場して64位でした！チームメイトの力を借りながらではあるけど、Webは埋めれたので良かった。。 pic.twitter.com/6tAbF4YeQJ— よーでん (@y0d3n) 2022年6月5日 チームメイトの力を借りながらではありますが、去年に引き続きWebを埋めることができて良かったです。 去年より格段に難しかったなと思います。(去年はmagicが自分の作問stackにあったというのもあるが・・・) web challenge logs 自分はWebでtex…
この記事では、Nginx上に自分で作ったhtmlファイルを配置し、ブラウザから表示させる方法を紹介します。 環境 Debian 11 bullseye nginx 1.21.6 手順 1. Nginxのインストール Nginxをインストール $ sudo apt update $ sudo apt install nginx Nginxのインストールを確認 $ /usr/sbin/nginx -v nginx version: nginx/1.21.6 2. Nginxの起動 Nignxを起動 $ sudo systemctl start nginx Nginxの起動を確認 $ systemc…
株式会社リゾーム システム企画・開発部 第4グループの尾古（@patorash）です。 弊社で扱っているシステムで、複数のgzip圧縮したファイルを読み込んでDBにインポートする処理がありました。今回はそれのリファクタリングを行い、10%ほど速度改善した話です。 リファクタリング前の処理 リファクタリング前は、ファイルの内容を読み込んで変数に入れた後、インポート処理を行っていました。そのインポート処理においても、巨大文字列を1行ずつ読み込んで処理するようにしてありました。 file_path = Rails.root.join('files', 'import_file.jsonl.gz') …
hyper-text.org
qiita.com
qiita.com
oku.edu.mie-u.ac.jp
blog.shibayu36.org
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
