ネットワーク漢字フィルター。
日本の住所表記がヤバすぎる、という記事から 「日本の住所のヤバさ」知れ渡る 正規化・名寄せ問題、Twitterトレンドに - ITmedia NEWS こちらの記事も見ていて 日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita ちょっと興味がわいたので、 位置参照情報 ダウンロードサービス からcsvデータをダウンロードして、いじってみました。 ダウンロードしたcsvデータの文字化け ダウンロードした各県のデータ(zip)を解凍し、 find /path/to/folder -name "*.zip" -exec unzip {} -d /path/to/fold…
2023 Feb. 22. nkf --guess 自動認識された文字コードと改行コードが出力される nkf -g 自動認識された文字コードが出力され、改行コードは出力されない
シェルスクリプトでURLエンコード・デーコードする方法メモです。 検索すればやり方は色々見つかります。 https://stackoverflow.com/questions/296536/how-to-urlencode-data-for-curl-command 最初、エンコード・デコード両方ともnkfを使う方法にしたのですが、長文になるとエンコードがうまくいかなかったため、エンコードはjqを使うことにしました。 URLエンコード・デコード方法 今のところ下記例で問題なく運用しています。 #!/bin/bash str="AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA…
文字コードの変換はいつも大変です。自分の場合は、よくメールの文章を取り込むようなシステムの開発で遭遇するのですが、ヘッダとボディの文字コードが合ってない等々(エンコーディングの指定情報が欠落していたり、コードの指定が間違っていることがある為)で... そんな時に、調査用としてよくnkf コマンドを利用します。メールで文字化けがあったときに考えられることとしては、「送信する側で設定した文字コード」と「受信する側で設定している文字コード」が異なっていると、または送信側で意図した文字を受信側で正しく表示することができずに、文字化けを起こしてしまうことなどが考えられます。 nkf コマンドを使うと簡単…
今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…
WordPressにReally Simple CSV Importerというプラグインがあります． このプラグインはCSVファイルをインポートすることでWordPerssの記事を簡単に投稿できます． すごい時代ですね. 詳しい使い方は次の記事を参考にしてください． notnil-creative.com takumisenka.com こんなに便利なプラグインですが，使っていると次のようなエラーが出てしまいました． データベースに投稿を追加できませんでした。 WP_Postオブジェクトがセットされていません。 これは文字コードが原因です． MacのExcelはデフォルトがShift-JISに…
今日は主に標準添付ライブラリ csv の更新や Fiber のマシンスタック用のメモリ領域の管理方法をチューニングするための変更や RGenGC のチューニングのための環境変数の導入などがありました。 [5f65e8c5d5] yui-knk 2023-05-24 08:24:41 UTC 98637d421dbe8bcf86cc2effae5e26bb96a6a4da で ruby_node_name() という関数の定義を node.c に移動するとともに rb_node_name() と改名していましたが元の ruby_node_name() に戻しています。公開関数なのでルールに従って…
00-06 × 06-12 HA 12-18 H 18-24 × A. 北海道地方-０-１-０-０=１ B. 東北地方 -０-０-０-０=０ C. 関東地方 -０-０-０-０=０ D. 中部地方 -０-０-０-０=０ E. 近畿地方 -０-０-０-０=０ F. 中国地方 -０-０-０-０=０ G. 四国地方 -０-０-０-０=０ H. 九州地方 -０-１-１-０=２ I . 沖縄地方 -０-０-０-０=０ 合計回数 -０-２-１-０=３06:55 トカラ列島近海 10/2.9 ③ 09:15 浦河沖 70/4.2 ② 16:12 トカラ列島近海 10/2.6 ① 【海外地震情報】日本時間の5月…
事業者：名古屋市交通局 登録番号：名古屋200か 4567 車番：NKF-55 型式：2PG-MP38FK シャーシメーカー：三菱 ボディメーカー：三菱ふそうバス製造
事業者：名古屋市交通局 登録番号：名古屋200か 4598 車番：NKF-57 型式：2PG-MP38FK シャーシメーカー：三菱 ボディメーカー：三菱ふそうバス製造
事業者：名古屋市交通局 登録番号：名古屋200か 4583 車番：NKF-56 型式：2PG-MP38FK シャーシメーカー：三菱 ボディメーカー：三菱ふそうバス製造
事業者：名古屋市交通局 登録番号：名古屋200か 4604 車番：NKF-60 型式：2PG-MP38FK シャーシメーカー：三菱 ボディメーカー：三菱ふそうバス製造
事業者：名古屋市交通局 登録番号：名古屋200か 4622 車番：NKF-61 型式：2PG-MP38FK シャーシメーカー：三菱 ボディメーカー：三菱ふそうバス製造
本日オフ。 近くの映画館のレイトショーでやっているスラムダンクを見に行こうか迷っている。かなり見たいんだけど腰が重い。猫の世話とかあるしな。 以下適当に。 稿 かなり右往左往したけど、結局マジ原稿に着手した。楽園殺しの続きがかなり書きたかったんだけど、これは後回しだ……わしには試練がある。お金原稿をやらねばならないという試練がな。 現代モノにした。SFとまではまったくいかないんだけど、ほんのちょっとだけ架空の設定が入る感じの。ライトノベルらしいライトノベルをやろう、過程はどうあれ今はライトノベル作家なわけだから、と自分に言い聞かせてアイデアを出していった結果、リアル寄りにするか、それともわりと…
新素材！遠赤外線の掛け布団【陽だまりの休息プレミアム】説明 ①「陽だまりの休息プレミアム」という掛け布団は、遠赤外線効果を利用して、体を芯から温め、快適な睡眠をサポートする商品です。 遠赤外線とは、太陽光や赤外線などの放射線の一種で、人体に良い影響を与えるとされています。 この掛け布団は、特殊な繊維を使って遠赤外線を放出し、 体表面から吸収されることで、体温を上げる効果があります。 また、この掛け布団には、保温性や通気性に優れた素材が使用されており、 冬場は暖かく、夏場は涼しく寝ることができます。 さらに、この掛け布団は、抗菌・防臭加工が施されており、 衛生的に使用することができます。 総合的…
今日は主に Kernel#throw による大域脱出の途中で例外を発生させた時の Exception#cause に不正なデータが入る可能性がある不具合の修正や警告のカテゴリに performance というのを新設する変更などがありました。 [02a7e12b80] Peter Zhu 2023-04-12 15:40:34 UTC 例外の rescue や ensure 処理中に発行された例外に Exception#cause で元の例外の参照を持たせる機能が Kernel#throw による大域脱出の情報が誤ってセットされることがあって異常終了する可能性があったのを修正しています。 [r…
はじめに ワンライナー 平均寿命の推移の CSV が扱いにくい原因 余計なヘッダーとフッターが含まれている データ中に意味のないスペースが含まれている 1行あたり2レコードが含まれている 西暦の上2桁が省略されているレコードがある 元号が省略されているレコードがある 和暦のフォーマットが異なるレコードがある ワンライナーの解説 文字コードと改行コードを変換する 余計なヘッダーとフッターを削除する 余分なスペースを削除する 1行あたり1レコードにする 空行を削除する 元号・和暦を削除する 西暦の上2桁を補完する 元号・和暦を追加する 西暦と元号・和暦を1つのフィールドにまとめる 区切り文字をスペ…
https://ume.hatenadiary.com/entry/2023/04/12/160948あああ、わかりました。この変数の中にメタ文字が含まれてるからですね・・この場合だと $ echo $MAC e8:1b:69:6b:9c:93 $ echo $MAC | cat -v e8:1b:69:6b:9c:93^M $こういうことかー。。。 意味が分かればこいつを消すように変数を変えてしまえばいいので tech.kurojica.com をまるっとパクって（ありがとうありがとう） MAC=`echo $MAC | sed -e "s/[\r\n]\+//g"`ってことにすればいいみた…
環境 macOS Monterey 12.3.1 nkf コマンドをインストール $ brew install nkf # インストールできたか確認 $ nkf --version Network Kanji Filter Version 2.1.5 (2018-12-15) Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa). Copyright (C) 1996-2018, The nkf Project. エンコード text='ほ👺👪🍎げ' echo $text | nkf -WwMQ | tr = % %E3%81%BB%F0%9F%91%BA…
GoogleDrive経由などでダウンロードしたテキストファイルが、Linuxmint上で文字化けして読めなかったのをやっと読めるように変換できました。 文字化けの例 なぜ文字化けするのかを調べたら、以下のサイトにわかりやすく説明がありました。 【初心者でも知っておきたい】Linuxでの文字コードの確認と変更方法 一部引用すると・・・ Shift_JIS 「Shift_JIS」はマイクロソフトなどが採用している日本語文字コードの一つであるが、実際に使用されているのは「Shift_JISの亜種」である。 1980年代からPCの普及とともに、日本語を表示する方法を模索している最中で誕生した規格であ…
twitter.com
jp.rubyist.net
takuya-1st.hatenablog.jp
xtech.nikkei.com
ja.osdn.net
qiita.com
kawatama.net
atmarkit.itmedia.co.jp
journal.mycom.co.jp
