ネットワーク漢字フィルター。
iww.hateblo.jp 使い方 $ find . -type f| xargs nkf -g| grep -vE ':\s*(UTF-8|BINARY|ASCII)'| cut -d ':' -f 1| xargs nkf -w --overwrite nkf -g の出力結果が少し変わっていたので修正 何年か前は コロンの後ろにスペースが入っていなかったし改行コードも表示されていたが、 今はコロンの後ろにスペースが入るし改行コードも表示されなくなった。 nkfコマンドの -w で文字コードをUTF-8 に変換、 --overwrite で上書き保存
日本の住所表記がヤバすぎる、という記事から 「日本の住所のヤバさ」知れ渡る 正規化・名寄せ問題、Twitterトレンドに - ITmedia NEWS こちらの記事も見ていて 日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita ちょっと興味がわいたので、 位置参照情報 ダウンロードサービス からcsvデータをダウンロードして、いじってみました。 ダウンロードしたcsvデータの文字化け ダウンロードした各県のデータ(zip)を解凍し、 find /path/to/folder -name "*.zip" -exec unzip {} -d /path/to/fold…
2023 Feb. 22. nkf --guess 自動認識された文字コードと改行コードが出力される nkf -g 自動認識された文字コードが出力され、改行コードは出力されない
シェルスクリプトでURLエンコード・デーコードする方法メモです。 検索すればやり方は色々見つかります。 https://stackoverflow.com/questions/296536/how-to-urlencode-data-for-curl-command 最初、エンコード・デコード両方ともnkfを使う方法にしたのですが、長文になるとエンコードがうまくいかなかったため、エンコードはjqを使うことにしました。 URLエンコード・デコード方法 今のところ下記例で問題なく運用しています。 #!/bin/bash str="AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA…
文字コードの変換はいつも大変です。自分の場合は、よくメールの文章を取り込むようなシステムの開発で遭遇するのですが、ヘッダとボディの文字コードが合ってない等々(エンコーディングの指定情報が欠落していたり、コードの指定が間違っていることがある為)で... そんな時に、調査用としてよくnkf コマンドを利用します。メールで文字化けがあったときに考えられることとしては、「送信する側で設定した文字コード」と「受信する側で設定している文字コード」が異なっていると、または送信側で意図した文字を受信側で正しく表示することができずに、文字化けを起こしてしまうことなどが考えられます。 nkf コマンドを使うと簡単…
今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…
WordPressにReally Simple CSV Importerというプラグインがあります． このプラグインはCSVファイルをインポートすることでWordPerssの記事を簡単に投稿できます． すごい時代ですね. 詳しい使い方は次の記事を参考にしてください． notnil-creative.com takumisenka.com こんなに便利なプラグインですが，使っていると次のようなエラーが出てしまいました． データベースに投稿を追加できませんでした。 WP_Postオブジェクトがセットされていません。 これは文字コードが原因です． MacのExcelはデフォルトがShift-JISに…
朝、両親を乗せて第二神明で須磨へ。両親を板宿駅まで送った後、出社。 まるこめさんから譲り受けたNUC7PJYHはMirakurunをmirakcに戻した。Docker入れて、EDCB-Wineを入れてみた。gitのcloneで取得してサンプル設定をコピーしてコンテナ起動してビルドするだけで本当に簡単に動いた。操作は全てブラウザから6510番ポートでリモートデスクトップ、5510番ポートでEDCBのWebUIが開くお手軽さ。 EpgTimerSrvは既に動いててタスクトレイに入ってるので、デスクトップ上のEpgDataCap_Bonを起動してチャンネルスキャンしたら、EpgTimerSrvからS…
他人から受け取ったファイルは文字エンコードがShift_JISだったり、BOMがついていたり、改行コードがCRLFだったりする。 そのままファイルの編集を続けると、システムに繋げたり乗っけたりするタイミングで問題が発生しやすいから、BOMなしUTF-8 改行コードLFに統一したい。 通常の開発であればIDEやエディタに.editorconfigを追加すればよい。 ただし、そういった方法が取れない/取るまでもない状況もある。 そのような場合に使えるワンライナーを作ったからメモしておく。 事前にnkfコマンドのインストールが必要。 find -type f -not -path './.git/*…
基本の文字コード・改行コード Linux OSの文字コードの確認方法 ファイルの文字コード確認方法 ファイルの改行コードの確認方法 Windows OSの文字コードの確認方法 ファイルの文字コード、改行コードの確認方法 基本の文字コード・改行コード Windows環境 Linux環境 文字コード Shift_JIS UTF-8 改行コード CRLF（¥r¥n） LF（¥n） Linux OSの文字コードの確認方法 下記コマンドを実行する。 localectl ファイルの文字コード確認方法 $ nkf -g testfile.txt Shift_JIS ファイルの改行コードの確認方法 $ fil…
はじめに，検索結果画面を：
はじめに AWS LambdaにてAWS SDK for Rubyを使うことになり、単純にgemをLayerとして登録しようとしたら少しトラブったのでその対処方法を以下に記します。 何が起きたか？ 前回までのブログ記事のようにgem 'aws-sdk'と書いたGemfileを用いてLayer用のzipファイルを作り、Layerを作ろうとしたらUnzipped size must be smaller than 262144000 bytesというエラーメッセージが出ました。 原因 AWS Lambdaにはさまざまな制限（クォータ）が設定されているのですが、今回は「デプロイパッケージ (.zip…
今日は主に例外のバックトレースから rescue 節や ensure 節のエントリを消す変更や構造体 rb_io_t を隠すのをやめる(revert する)変更などがありました。 [15dc3aaa31] Alan Wu 2024-03-20 20:21:04 UTC メソッド呼び出し時の引数の処理でキーワード引数の複製が不要なのにしているケースがあったのを修正しているようです。 [0546764c30] Peter Zhu 2024-03-21 18:12:06 UTC NEWS の frozen_string_literal の指定がない時の chilled string の deprec…
macbook pro (M1 pro chip)が活動開始 CPUのパフォーマンスのベンチマーク 最初のインストールアプリ群 emacsのインストール atomエディタのインストール macbook pro (M1 pro chip)が活動開始 このところのHackintoshプロジェクトにより、いろいろ止まっていたものが動き出した感じがある。ASUSノートPCが蘇生され、VAIO-ubuntuがひさびさに起動され、そしてついに埃をかぶっていたM1チップ搭載のmacbook proに光が灯ったのである！ （このブログもM1 macbook proで執筆している。） かねてからの懸念事項だった…
実験段階にある腎臓病の治療薬「BI 690517」によって腎障害により悪化した尿中マーカーが有意に改善することが、米ワシントン大学腎臓病学臨床教授のKatherine Tuttle氏らが実施した同薬の第2相臨床試験で示された。慢性腎臓病（CKD）患者にBI 690517を投与したところ、主に肝臓で作られるタンパク質であるアルブミンの尿中濃度の低下が認められたという。詳細は、「The Lancet」に12月15日掲載された。尿中アルブミン濃度は長年にわたって腎臓病の進行度を評価するための指標として使用されている。Tuttle氏は、現行の診療を変え得る「かなりインパクトがある研究結果だとわれわれは…
日本に関するブランシャールのIS-LM-PCモデルのエコノメイト-Macroを用いた推計 朴勝俊 2024/2/17 1．はじめに 「ブランシャール マクロ経済学（上）[第2版]」（ブランシャール、2020）におけるIS-LM-PCモデルは、現実には金利は中央銀行が決めるという立場から、LM曲線が政策金利水準において水平になっているのが特徴である。これは金融政策の理解をとてもシンプルにしてくれる。他方、PCとは「フィリップス曲線（Phiｌlips Curve）」のことであるが、これは自然失業率と実際の失業率の差が、潜在GDPと実際のGDPとの差に比例すると考え、縦軸を物価上昇率とし、横軸を実質…
！トラブル発生！ Windows7機にインストールしたAdobe InDesignを使って、発注用版下を作ろうとしています。linuxmintとWindows7で外付けハードディスクを介して、データの編集をしていたのです。 Windowsの方で、印刷イメージを掴みたかったので、一太郎で原稿をレイアウトして、誤字などを校正していました。校正済みの原稿を InDesignに流し込んで、最終版下原稿にするために、一旦テキストファイルで保存したのです。 後で、Linuxmintのエディターで、これを開くと・・・ ���������� ������������ ������������ �أ٣�����…
Ansible PowerShellコマンドの実行結果の日本語が文字化けするという事象がありました。実行結果が分からないのでちょっと困ったということで調べてみましたが、以下の情報がありました。 PowerShell - Ansibleからターゲットノードにファイルを出力するコマンドを実行させると文字化けする｜teratail 以下は質問の抜粋です。 Windows の Powershell のコンソール画面で w32tm /query /status > C:\Users\hogehoge\Desktop\test.txt のコマンドを実行すると、デスクトップにあるtest.txtに時刻同期の…
メークローン駅といえば、メークローンの線路市場で（たぶん）全世界的に有名だろう。一方で、バンコク市内から国鉄メークローン線でアクセスしようとすると、鉄道マニア目線ではなかなかクセの強さがある。 まず、メークローン方面の列車は、他のタイ国鉄線から完全に独立した始発駅（ウォンウェンヤイ駅）から発車する。そして、途中のマハーチャイとバーンレームの間はターチン川で分断されていて、渡し船で渡ることになる。 この渡し船を境に、バンコク側のウォンウェンヤイからマハーチャイまでの区間を、通称マハーチャイ線と呼ぶらしい。 近郊非電化ローカル線って好きです。 2023年夏のタイ旅行では、バンコクからメークローン市…
CS1の石井です。 タイトルの通りLocalStackというツールを用いてCDKをローカルで動作確認を行う記事となります。 対象読者 CDKワークショップを終わらせている方 devcontainerを使える方 記事を書いた動機 私は普段仕事でCDKをよく使うのですが、コードの記載や修正をした後、動作確認をnpx cdk synth で確認しています。 これはTypescriptで記載されたCDKをCloudFormationのYamlファイルに変換する作業であり、CDKのコードに不備があれば正しく出力することはできません。 しかし、これは実際にデプロイしていないため、実際にデプロイしてみるとA…
今日は主に標準添付ライブラリの csv, drb, syslog, nkf などを削除して bundled gems にする変更などがありました。 [c6b548accb] Charles Oliver Nutter 2024-01-19 01:45:05 UTC 拡張ライブラリ nkf に JRuby 対応を追加しています。 [34c5e78760] Charles Oliver Nutter 2024-01-19 06:13:05 UTC c6b548accbd211b69b0611b584e7673147aaea41 の続きで拡張ライブラリ nkf の JRuby 版の時のライセンスの指…
PowerShell の練習で、GitHub の releases のダウンロード数を表示するコードを書いてみた。 $url = "https://api.github.com/repos/$owner/$repos/releases" curl $url | ConvertFrom-Json | ForEach-Object { foreach ($p in $_.assets){ Write-Host $p.name $p.download_count } } ところが次のようなエラーになってしまう。 $ ~\Download-Count.ps1 % Total % Received % …
twitter.com
jp.rubyist.net
takuya-1st.hatenablog.jp
xtech.nikkei.com
ja.osdn.net
qiita.com
kawatama.net
atmarkit.itmedia.co.jp
journal.mycom.co.jp
