ネットワーク漢字フィルター。
文字コードの変換はいつも大変です。自分の場合は、よくメールの文章を取り込むようなシステムの開発で遭遇するのですが、ヘッダとボディの文字コードが合ってない等々(エンコーディングの指定情報が欠落していたり、コードの指定が間違っていることがある為)で... そんな時に、調査用としてよくnkfコマンドを利用します。メールで文字化けがあったときに考えられることとしては、「送信する側で設定した文字コード」と「受信する側で設定している文字コード」が異なっていると、または送信側で意図した文字を受信側で正しく表示することができずに、文字化けを起こしてしまうことなどが考えられます。 nkfコマンドを使うと簡単に文…
今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…
WordPressにReally Simple CSV Importerというプラグインがあります． このプラグインはCSVファイルをインポートすることでWordPerssの記事を簡単に投稿できます． すごい時代ですね. 詳しい使い方は次の記事を参考にしてください． notnil-creative.com takumisenka.com こんなに便利なプラグインですが，使っていると次のようなエラーが出てしまいました． データベースに投稿を追加できませんでした。 WP_Postオブジェクトがセットされていません。 これは文字コードが原因です． MacのExcelはデフォルトがShift-JISに…
嫌だー－－不気味ー－－ https://t.co/zbkpIplRJG— umi 7 (@son24777) 2022年5月20日 近未来はロボットに庶民は監視操作され職場もロボットだらけに 公になってないだけで凄いロボットが造られてるんでしょうね 毎日新聞の反日記事20年 日本を貶め続けた毎日新聞英語版、その責任者が出世している事を忘れてはならない。 つまり反日記事を書くと出世できるのが毎日新聞 #変態新聞 #毎日新聞 #毎日変態新聞 - #野党とマスコミは敵の手先 https://t.co/pte08v7uOQ— umi 7 (@son24777) 2022年5月21日 毎日新聞ってここま…
問題７７ 異なる文字コードのファイルの一括検索 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
問題７６ 少し前のMacでできたファイルのリスト 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
問題７５ 絵文字を除去したい 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
問題７３ 展開後文字化けしたファイル名の修正 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
問題７０ Excel方眼紙 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
sudo amazon-linux-extras enable epel yum clean metadata sudo yum install -y epel-release sudo yum install -y nkf
問題６５ 各月の休日数 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
問題６２ 休日の突き合わせ 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。
今日は主にドキュメントの修正や Windows 環境での File.chardev?/File::Stat#chardev? の不具合修正などがありました。 [01395d84ab] Burdette Lamar 2022-04-14 19:25:06 UTC doc/syntax/literals.rdoc の正規表現リテラルについての説明を少し変更しています。 https://github.com/ruby/ruby/pull/5800 [b086116c0b] git 2022-04-14 19:25:24 UTC version.h の日付更新 [307cb57ba6] Alan Wu…
備忘録として、Pandasの複数データフレームをリードして、連結して１つの大きなデータフレームを作成する方法を説明します。 ターゲットディレクトリ target_dir 配下に複数のCSVファイルがあり、それを データフレームとしてリードして連結することを想定します。 import pandas as pd import glob target_dir = /hoge/fuga/ csv_list = glob.glob(target_dir + '/*.csv') # CSV fileのリストを取得します。 csv_list.sort() #一旦ソートします #連結用カラム名だけのデータフレ…
エリトリアは情報が少ない！旅行したいけど情報収集してから行きたい！というそこのあなた！エリトリアを旅行する際にちょっと役に立ちそうな情報を乗っけておきます。いつかエリトリアに旅する人のお役に立てれば幸いです！ ⬜︎エリトリアの基本情報 エリトリアの国旗(左)と、与党：民主正義人民戦線の旗(右) ⬛︎正式国名エリトリア国 State of Eritrea⬛︎主要言語ティグリニャ語、英語、イタリア語、アラビア語、ティグレ語など ※基本は英語で通じます(逆にイタリア語はアスマラ以外はあまり通じません) ⬛︎民族構成主要2大民族はティグリニャ人（高地に住みティグリニャ語を話すセム語族、大部分は正教会信…
Word2Vecの概要 基本的には、同じような意味や使われ方をする単語は同じような文脈の中に 登場するという考えのもと、単語をベクトル化しています。 近い意味をもつ単語のコサイン類似度が高くなる。 「日本」ー「東京」＋「ソウル」＝「韓国」のような、 ベクトルの意味に注目した足し算や引き算が可能になる。 Word2Vecが登場する前はone-hot vectorやSVD（特異値分解）などで 次元圧縮したベクトルを使っていた。 →2017年ではWord2Vecがデファクトスタンダードと言っても過言ではない データ（文書）をコーパスと呼ぶ。 コーパスの取得 まずはWikipediaの記事本文を取得す…
はじめに コード 動作確認 はじめに 前回はEchoで作成したwebアプリのセッション管理をRedisで行いました。 yhidetoshi.hatenablog.com 今回は JWT ( JSON Web Token ) を利用してAPIに認証をかけます。 ■ JWTとは https://e-words.jp/w/JWT.html JWTとは、JSON形式で表現された認証情報などをURL文字列などとして安全に送受信できるよう、符号化やデジタル署名の仕組みを規定した標準規格 中身は <ヘッダー>.<ペイロード>.<署名> で構成されている コード 参照) echo.labstack.com デ…
WSL2上のUbuntu18.04で、フォルダ内の全てのcsvファイルの文字コードをUTF-8→ShiftJISに変更する 場合は、nkfを使う以下の方法が一番楽かも。 #!/bin/sh files="*.csv" for filepath in ${files} do echo $filepath nkf -s --overwrite $filepath #変更して上書き nkf -g $filepath #確認のため文字コードを出力 done 参考サイトは以下 nkfで文字コード変換 - Qiita よく使うシェルスクリプト - Qiita
twitter.com
jp.rubyist.net
takuya-1st.hatenablog.jp
xtech.nikkei.com
ja.osdn.net
qiita.com
kawatama.net
atmarkit.itmedia.co.jp
journal.mycom.co.jp
