GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
2021 4/16 タイトル変更、文章修正, 画像差し替え Bowtie 2の--un-concオプションを使うと、リファレンスに適切にマッピングされなかったペアエンドリード（discordant read pairs）を別出力できる。このオプションを利用することで、ホストゲノムのリードを素早く除外できる。 discordant read pairの詳細 http://bowtie-bio.sourceforge.net/bowtie2/manual.shtml#concordant-pairs-match-pair-expectations-discordant-pairs-dont インス…
シナプスの技術部、システム開発課の小園です。 Trelloのボードの公開範囲を公開にすると、Googleの検索結果に表示されるという騒動がどうして起きたのか調べた結果、robots.txt（Robots Exclusion Standard）について勉強になったので、共有したいと思います。 運営元による今回の騒動についての案内ページです。 www.atlassian.com 当初、Trelloのボードの公開範囲を公開に設定しただけでなぜGoogleの検索結果に表示されるようになるのか判りませんでした。 普段でもファイルを共有したいと思った時に、ストレージサービス（GoogleDrive、One…
この大会は2021/4/3 9:00(JST)～2021/4/8 9:00(JST)に開催されました。 今回もチームで参戦。結果は2545点で1245チーム中56位でした。 自分で解けた問題をWriteupとして書いておきます。 Sanity Check (MISC 5) Discordに入り、#rolesチャネルでフラグアイコンに投票すると、たくさんのチャネルが現れた。現れたチャネルの一つの#generalチャネルのトピックにフラグが書いてあった。 actf{always_gonna_give_you_up} Archaic (MISC 50) team7922@actf:~$ cd /pr…
LinuCエヴァンジェリストの鯨井貴博@opensourcetechです。 nginx mainline の最新バージョン、1.19.10がリリースされました。 http://nginx.org/ 更新内容は、以下の通り。 http://nginx.org/en/CHANGES Changes with nginx 1.19.10 13 Apr 2021 *) Change: the default value of the "keepalive_requests" directive was changed to 1000. *) Feature: the "keepalive_time" …
CentOS7版Rstudio-Serverのインストール方法 + nginx設定についてまとめてみた。 Mac版やDocker版のRstudio-Serverのインストール方法については、以下の記事を参考のこと。 skume.net skume.net RStudio Server for Red Hat/CentOS のダウンロード・インストール RStudio Server を動かすには、RedHat か CentOS 6以上のバージョンが必要である。 また以下の記事を参考にして、CetOS版Rをインストールしておくこと。 skume.net まず、ターミナルを起動して、以下のコマンドを…
次の2つのプログラムは、どちらも test.gz というファイルを開いて、片方はバイナリモードで、もう片方はテキストモードでイテレートします。Pythonの使用上ファイルをイテレートしたら行単位で内容を読み出せます。 $ cat dec_gzip.py import gzip with gzip.open("test.gz", 'rb') as f: # バイナリモード for l in f: pass $ cat dec_gzip_t.py import gzip with gzip.open("test.gz", 'rt', encoding="utf-8") as f: # テキストモー…
Cloudflare Pagesの一般提供を開始 リタ・コズロヴ Cloudflare Pagesの一般提供を開始 Cloudflare Pagesとは何ですか？ 開発者のためのシームレスなビルド チームへの即時フィードバック 弾丸のようなセキュリティと企業のためのスケール しかし、それだけではありません。 一貫した体験を、すべてのステップで 内蔵された無料のウェブ解析機能 _redirects ファイルのサポート Jam harder Cloudflare Access統合による保護されたプレビュー Cloudflare Pagesでは、各コミットに固有のプレビューURLを生成することで、コ…
gzip の限界 ＝ CPU 1コア マルチコア・マルチスレッドのCPUがあるのに、gzip や lzma(xz)や bzipといったメジャーな圧縮は、CPUを１コアで処理するんですね。 CPU使用率を見てみたら、CPU利用率は100%を超えないんですね。 HDD・SSDの書き込み速度に限界があるからそれでも良かったんだろうが。いまはメモリが一般的に６４GBもある時代です。うちのマシンでもメモリが12GBもあるのに３GB程度の圧縮に、５分とか耐えられません。もうちょっと速くしたい。 cpu利用率が100%で頭打ちになる。gzip gzipを使ってると、CPU利用率が100%で止まるんですよね。…
過去に以下のような記事を書きましたが、今回はそれらを組み合わせてサンプルで準備されているCSVファイルをAWSのS3にアップロードしてみます。www.capybara-engineer.comwww.capybara-engineer.com 尚、S3にアップロードする設定でアクセスキーとシークレットキーを設定しないときにどのように認証されるかを確認することが本当の目的です。
問題 問題文 Come check out our finest selection of quills! app.rb Author: JoshDaBosh 問題概要 Ruby 製の Web アプリケーションフレームワークである sinatra を用いた Web アプリケーションのソースコード (app.rb) と 実際に動作する Web アプリケーションの URL が与えられる. 解答例 指針 UNION 演算子を利用した SQL injection 解説 与えられたソースコードは以下のようなものであった. require 'sinatra' require 'sqlite3' set :…
■ はじめに PySpark で、Parquet フォーマットで 保存する必要ができたので調べてみた Parquet ファイルに関しては、以下の関連記事を参照のこと。 Parquet ファイル https://dk521123.hatenablog.com/entry/2020/06/03/000000 目次 【１】サポートされている圧縮形式 [補足] Pandas の場合 [補足] AWS Glueの場合 【２】Parquet 書き込み [補足] セーブモード (mode) 【３】Parquet 読み込み 【１】サポートされている圧縮形式 https://spark.apache.org/d…
TL;DR CentOS8のコンテナ環境があり、そこにNginxをインストールしたが、デフォルトではCGIが実行できない。 今回はCGIが実行できるようにするために、環境設定を行う。 fcgiwrap のインストール 標準リポジトリに無いようなので、EPEL からインストール。 # dnf -y install epel-release ~~省略~~ Installed: epel-release-8-8.el8.noarch Complete! # dnf --enablerep=epel -y install fcgiwrap ~~省略~~ Installed: fcgi-2.4.0-36…
◀︎ 前へ｜次へ ▶︎️ Webサーバのログを分析したところ，Webサーバへの攻撃と思われるHTTPリクエストヘッダが記録されていた。次のHTTPリクエストヘッダから推測できる，攻撃者が悪用しようとしていた脆弱性はどれか。ここで，HTTPリクエストヘッダ中の"%20"は空白を意味する。 〔HTTPリクエストヘッダの一部〕 GET /cgi-bin/submit.cgi?user=;cat%20/etc/passwd HTTP/1.1 Accept: */* Accept-Language: ja UA-CPU: x86 Accept-Encoding: gzip，deflate User-Ag…
hyper-text.org
qiita.com
qiita.com
blog.shibayu36.org
oku.edu.mie-u.ac.jp
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
