nkf

2023 Feb. 22. nkf --guess 自動認識された文字コードと改行コードが出力される nkf -g 自動認識された文字コードが出力され、改行コードは出力されない

シェルスクリプトでURLエンコード・デーコードする方法メモです。 検索すればやり方は色々見つかります。 https://stackoverflow.com/questions/296536/how-to-urlencode-data-for-curl-command 最初、エンコード・デコード両方ともnkfを使う方法にしたのですが、長文になるとエンコードがうまくいかなかったため、エンコードはjqを使うことにしました。 URLエンコード・デコード方法 今のところ下記例で問題なく運用しています。 #!/bin/bash str="AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA…

文字コードの変換はいつも大変です。自分の場合は、よくメールの文章を取り込むようなシステムの開発で遭遇するのですが、ヘッダとボディの文字コードが合ってない等々(エンコーディングの指定情報が欠落していたり、コードの指定が間違っていることがある為)で... そんな時に、調査用としてよくnkf コマンドを利用します。メールで文字化けがあったときに考えられることとしては、「送信する側で設定した文字コード」と「受信する側で設定している文字コード」が異なっていると、または送信側で意図した文字を受信側で正しく表示することができずに、文字化けを起こしてしまうことなどが考えられます。 nkf コマンドを使うと簡単…

今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…