Unicodeのエンコーディングの一種。BMP内の文字は16ビットで表現し、BMP外の文字はサロゲートペアにより32ビットで表現する。
Unicode（現時点で最新のUnicode 13.0.0）で扱われる符号化形式及び符号化スキームにはUTF-8、UTF-16、UTF-32があり、どれを使うかで悩むことがあります。結論としては使い手の使い分けだと思いました。 Unicodeは「文字」*1や制御記号をコードポイント（符号位置）に割り当てており、UTF-16で表せる上限の10FFFF16（1,114,112）が最大です*2。 UTF-8、UTF-16、UTF-32の違いにコードユニット（符号単位）のビット数*3とASCII互換性があります。UTF-8は8ビットでASCII上位互換、UTF-16は16ビットでASCII非互換、UT…
gzip の限界 ＝ CPU 1コア マルチコア・マルチスレッドのCPUがあるのに、gzip や lzma(xz)や bzipといったメジャーな圧縮は、CPUを１コアで処理するんですね。 CPU使用率を見てみたら、CPU利用率は100%を超えないんですね。 HDD・SSDの書き込み速度に限界があるからそれでも良かったんだろうが。いまはメモリが一般的に６４GBもある時代です。うちのマシンでもメモリが12GBもあるのに３GB程度の圧縮に、５分とか耐えられません。もうちょっと速くしたい。 cpu利用率が100%で頭打ちになる。gzip gzipを使ってると、CPU利用率が100%で止まるんですよね。…
今回のテーマ今回は、たくさんあるCSVファイルをひとまずまとめてExcelに変換するパターンです。加工はExcelにしてからいくらでもできますが、CSVがたくさんあるとExcelに読み込む段階で、手作業が面倒で心が折れませんか？わたしはそんな時はこのスクリプトでとりあえずExcelにまとめて読み込ませています。 サンプルデータを示します。お題 No.日時顧客名顧客属性来店種別利用金額 12020/10/4"住処商事"xxxxxxxxxx1300 22020/10/25"香料販売"xxxxxxxxxx14340 32020/10/25"Satoru co., Ltd"xxxxxxxxxx2340…
以下のコードで文字列をUTF-16コードユニットの配列に変換できます。 Array.from("🍎🍊😁", s => Array.from({length: s.length}, (_, i) => s.charCodeAt(i))) // Array(3) [ [ 55356, 57166 ], [ 55356, 57162 ], [ 55357, 56833 ] ] Array.from("🍎🍊😁", s => Array.from({length: s.length}, (_, i) => s.charCodeAt(i))).flat() // Array(6) [ 55356, 571…
本文 以下のコードで文字列をUnicodeコードポイントの配列に変換できます。 Array.from("🍎🍊😁", s => s.codePointAt(0)); // Array(3) [ 127822, 127818, 128513 ] 関数にしておくと便利かもしれません。 const getCodePointsFromString = (source) => { if (typeof source != "string") return undefined; return Array.from(source, s => s.codePointAt(0));; } getCodePoint…
ハッシュとは？ ハッシュとは、英語で細切れにするという意味。 ハッシュ関数から得られた値のことをハッシュ値という。 例えばこんな値みたことありませんか？ ハッシュ関数から得られたハッシュ値の例です。 4DFF4EA340F0A823F15D3F4F01AB62EAE0E5DA579CCB851F8DB9DFE84C58B2B37B89903A740E1EE172DA793A6E79D560E5F7F9BD058A12A280433ED6FA46510A どんな時に用いられるかというと、検索の高速化、データ比較処理の高速化、改竄の検出などしたい時に使われる。 ハッシュ値を比較して同じ値であれば、…
rails newだけしたアプリケーションで次の感じでセグメンテーション違反が発生します。 ~ bundle exec unicorn_rails I, [2021-03-30T14:17:52.498866 #98882] INFO -- : listening on addr=0.0.0.0:8080 fd=13 I, [2021-03-30T14:17:52.498987 #98882] INFO -- : worker=0 spawning... I, [2021-03-30T14:17:52.500659 #98882] INFO -- : master process ready …
VC++ではワイド文字列（L"..."）に絵文字を含めることができます。この文字列に対してstd::iswgraphを適用しても戻り値はfalseです。 #include <string> #include <cwctype> #include <iostream> #include <iomanip> int main() { const std::wstring s{ L"🍊🍎😁" }; for (auto i = s.cbegin(); i != s.cend(); i++) { auto c = *i; std::wcout << L"0x" << std::hex << std::s…
UTF-16サロゲートペア判定とUTF-16／UTF-32文字列の相互変換コードです。Unicodeの仕様はネット上の解説ページを参照しているため、間違えてる可能性もあります。 #include <algorithm> #include <string> namespace u16_surrogatepair { const char16_t high_surrogate_first = 0xd800; const char16_t high_surrogate_last = 0xdbff; const char16_t low_surrogate_first = 0xdc00; const …
いやー難しかったです（好き全部は解いていませんし、解いた問題を全て(6つしかないですが)解説すると大変なので2つだけ E: No.3077 🔧 まず項目があるのに問題文、制約、サンプル等が読めないことに着目します。 きっと読めない状態になっているということです。 ブラウザの開発者ツールを開いてみます。 No.3077 🔧 を開発者ツールでみた画像ビンゴです！ なんと問題文が HTML の class 属性名になっていました。つまり、 問題 a×b+c-d を k で割った余りを出力してください。 制約 1 ab + c >= d 入力はすべて整数。 入力 $a\ b\ c\ d\ k$ 出力 …
こんにちは。システム開発グループの小田切と申します。 前回、CSVについてつらつら書いていて、気づいたら長くなっていました。JSON RFC 8259の方が長いので、今回はうまく要点だけ伝えられるように頑張ります！！ CSVについては、公開後同じような苦労をした知り合いからコメントをいくつか頂きました。レスポンスありがとうございます。先にお礼を申し上げます。 JSONは、JavaScript Object Notationの略です。 JSONの国際標準 RFC 8259 (CSVと同期してRFCについて書きます。) RFC 8259の内容とは トップページ 1. Introduction 2.…
・文字集合≒文字セット 例えば、Unicode。以下のように世界中の文字に番号を振っている。 あ U+3042 い U+3044 う U+3046 え U+3048 お U+304A ・文字符号化方式 文字集合で割り振った番号をパソコンで使用するために変換すること。 Unicodeの「あ U+3042」 UTF-8で符号化すると「0xE3 0x81 0x82」 UTF-16で符号化すると「0x30 0x42」 ・文字コード 文字に割り振られた番号 ・グリフ 各文字の画像のこと ・フォント グリフを集めたもの ・GID/CID グリフに割り振られている識別番号。 ・CMap(Character …
SQL Server 2019 での話です。 Unicode の𠮷(つちよし), 𩸽(ほっけ)や 🍺(ビール), 👨👩👧👦(家族: 父母と女の子と男の子)のような絵文字等を扱う場合、データベースがサロゲートペアや結合文字列に対応している必要があります。 SQL Server の Unicode データ型は SQL Server 2005 から対応済みで、SQL Server 2019 では新しい UTF-8 対応の照合順序も加わり、より扱いやすくなってます。 公式サイトにも説明があります。 照合順序と Unicode のサポート - SQL Server | Microsoft Docs…
導入 突然ですが、プログラムを書いている際に 「どんなソースコードが綺麗なの？」、「ファイルの構成ってこれでいいの？」 と思ったことはないでしょうか？私はいつも思っています←(開発経験１年目) ですが、そういった記事をネットで調べようとしても意外と載っていないのが現状です。 そこで、手っ取り早く調べるにはどうすればいいか。そう、有名なソースコードを読めばいいのです！ 有名だからといって、書かれていることがすべて正しいというわけではないとは思いますが、開発経験１年の私よりは遥かに綺麗なソースコードだと断言できます。 なので、１からソースコードを読み解いていき、これからの開発に役立つ知識をためてい…
以前公開したソフトをアップデートをしました。その更新内容と補足内容です。 前の記事 www.pit-ray.com GitHub github.com ホームぺージ pit-ray.github.io 目次 バージョン3.2 変更点 追加点 ウィンドウの整列 ウィンドウの回転 ウィドウの交換 ウィンドウのリサイズ ウィンドウのスナップ ウィンドウの選択 ウィンドウの複製 このソフトウェアについて 今後 バージョン3.2 今回のアップデートではウィンドウの操作に関連した機能を強化しました。ここでは網羅的に書きます。 変更点 まず、GUIオブジェクトをVimiumのようにヒンティングするEasyC…
journal.mycom.co.jp
una.soragoto.net
constellation.hatenablog.com
www.atmarkit.co.jp
mixiengineer.hatenablog.com
srad.jp
pentan.info
ja.wikipedia.org
srad.jp
