単語と単語のあいだに空白等を入れる書き方や表示方法。
英語や韓国語は、正書法として分かち書きをするが、日本語や中国語は、分かち書きをしない。
あけましておめでとうございます。年末といえば…大量のツイートでテキストデータが大量には手に入るというまたとない機会です。そこで今回の年末もNHK紅白歌合戦のツイートデータを入手していたので、テレビの放送は見ていませんでしたが、ワードクラウドの画像を作成してどんな感じだったのかなというのをみてみました。（お正月にやっているないようではないけど） 19万件ほどのデータが得られました（リツイートを覗いたオーガニックツイートとして） 過去のプログラムをそのまま使用したので以下に過去エントリを参考においておきます。 参考 uepon.hatenadiary.com uepon.hatenadiary.c…
Googleが先月24日に発表した、日本語・中国語においての不自然な改行をより自然にするものです。機械学習を用いており、前身であるBudouの後継となるものです。
2023/10/02 ジェイムズ・ジョイス「若い芸術家の肖像」（岩波文庫）-I、II スティーブンは優等生で、作文がうまいが、コミュニケーションはうまくいってなさそう。 1914年の続き スティーブン・デダラスのミドルからハイティーンの時代。一貫して寄宿学校で暮らしている。友人や教師との親密な交友が全く現れない。いわゆる青春の時代なのに、誰ともつるんだりしない。娼館通いにしろ、修業にしろ、他の生徒が行うようなことではなく、一人で孤独に行うものだ。学友たちは彼を奇怪なものを見るように接していたのだろうか。 （俺もこの年齢のころは学校で誰かとつるむことは少なく、孤独にすごしていたので、スティーブン…
関連記事 概要 参考情報 関連記事 GitHub - devlights/blog-summary: ブログ「いろいろ備忘録日記」のまとめ 概要 以下、自分用のメモです。忘れないうちにメモメモ。。。 Googleさんが BudouX というのをリリースしたとのこと。Budou の後継という形みたいですね。 developers-jp.googleblog.com ソースはGithubで公開されています。 github.com 上記サイトより引用。 BudouX は、ウェブをはじめさまざまなプラットフォームで読みやすいテキスト折り返し（改行）を実現するための、軽量な分かち書き器です。 Javas…
先日から英日Transformerの学習結果の報告を何度か書いてますが（エントリ1・エントリ2・エントリ3）、AWSでA100というGPUが8枚使える最高スペックのインスタンスが空いたので*1、コーパスとモデルを少し大きくして、Googleの有名な“Attention is all you need”論文のベースモデルに近い規模にしてみました。 具体的にいうと、All You Need論文では英語-ドイツ語の翻訳に関しては、 450万ペアの対訳コーパス 37000トークンのボキャブラリ辞書（byte-pair encoding） Transformerブロックはエンコ側・デコ側ともに6層 埋め…
特別お題「わたしがブログを書く理由」 「ブログを書く理由」の前に「書き始めた理由」から。 今から18年ほど前、43歳になった私は、その時の日本人の平均年齢が43歳（ちなみに世界平均は19歳）であることを知り、なんだか「これでようやく大人の仲間入り～」のような気がして何かを始めたくなったです。 それを遡ること7年余、Windows98から日常的なパソコンユーザーとなっていた私ではありましたが、時々ワードで簡単な書類を作る程度で、あとは友人とのメール交換やネット閲覧くらいしかしていなかったのでした。 そんな折、【43歳】に触発されて「そうだ！ブログを始めてみよう！」 元々文章を書くのは好きでしたし…
カプコン辻本社長、インドでの販売本数が中国超える可能性－10年内に 囲碁AI、こわれる 人間の悪手に翻弄、大石死す AI社会に警鐘：朝日新聞デジタル Instagramはどうやって3人のエンジニアで1400万人にサービスを提供できるシステムを組み上げたのか 首都高で自転車が乗用車と衝突 金港JCT付近で通行止め続く 横浜西区 | NHK 【レビュー】 至って普通のノートPCでもゲームがサクサク動く！ドック機能を備えた超小型GPUボックス「GPD G1」を試す 「その地ビール、発泡酒です」 国税局が指摘、減税取り消され追徴：朝日新聞デジタル 朝鮮人虐殺の記録「見当たらない」 政府答弁に安倍氏の影…
宮川寅雄『秋艸道人随聞』（中公文庫 1982年） 小笠原忠編著『会津八一と奈良』（宝文館出版 1989年） 10月下旬に、奈良日仏協会の催しで、会津八一の歌碑巡りをすることになりました。その予習を兼ねるのと、これまで奈良のお寺をまわるたびに会津八一の歌碑があって、どんな人だろうと興味を持っていたので、関連本を二冊読んでみました。 宮川寅雄、小笠原忠ともに、会津八一が早稲田高等学院で英語を教えたときの教え子で、ともに会津八一に傾倒し、宮川寅雄は、共産主義活動を経て、東洋美術の教授となり、小笠原忠は、小説家となって、会津八一との思い出を小説化した作品で芥川賞候補になったようです。 ともに、弟子の立…
韓国語のコピュラ文「AはBだ」について書く。ここでは指定詞이다「～だ」（および아니다「～ではない」を使った文を取り上げる。
「韓国語 文法用語について」の記事でも少し触れた，韓国語の用言と活用についてのまとめ。基本的にこのブログで韓国語のことを書くとき，いちいち活用の詳細について説明はしないので，説明の代わりにこの記事へリンクを貼る。
★めぼしいコーパスをまとめてダウンロードしてクリーニングして統合するPythonのコードを最後にのせてます。 日英対訳の（なるべく）綺麗なデータを得たい Transformerで機械翻訳をやろうと思ったのですが、てっとり早く試すだけの場合、綺麗な演習用データが配布されてる「英語-ドイツ語」や「英語-フランス語」のデータセットを使う人が多いんじゃないでしょうか。 でもそれだと、性能が実感できないので、なんとか「英語 ⇒ 日本語」の機械翻訳を実践したいと思いました。 そこでネックになるのが、 品質がよくて 分量が十分で 無償配布されている という条件をみたす対訳コーパスが、都合よくあるわけではない…
タイトル通り、日本語の作文技術を、具体的、かつ論理的に解説した本だ。 著者本多勝一氏については、賛否両論あるだろうが、例文が豊富で、日本語で文章を書く上では、本書は必読の書だと思う。 以下、本書の概要をまとめながら、感想を青文字で書いておく。なお、原文は縦書きのため、漢数字を使っている所を、このブログでは横書きのため、数字に直している部分があることを、お断りしておく。 凡例に記載があるルール 1)数字の記載は、四進法とする。 例：×503,987,146円 ○5,0398,7146円 ○5億0398万7146円 これは、日本語が4桁ずつ位が上がっていくからだ。日本語としては確かにわかりやすい。…
着任したときはもうコースが始まって3か月近くたっていたのに、まだひらがな・カタカナが怪しい。それからひと月たってもさまで改善しないので、業を煮やして、ひらがな・カタカナテストをすると宣言した。「半分できないようならサヨナラだよ！」と脅したが、それはもちろん冗談のつもりのハッパだったのだけども、結果は半分以下がぞろぞろいて、零点そのものもいればそれに近いのも何人もいるありさま。自分の名前すらカタカナで書けないのもいる。困ってしまった。 仕事もしていれば家庭もあって、子どもの世話もしなければならない。勉強の時間がないというのは理解するけれど、こちらの理解とは関係なく、最終的に絶対に合格しなければな…
【書誌データ】 タイトル：Text Mining Maniax[word2vec編]――RとRMeCabによる日本語の単語埋め込みの基礎 発行日：2023年8月13日（コミックマーケット102） 著者：後藤和智（後藤和智事務所OffLine） サイズ・ページ数：A5、40ページ 価格：即売会600円、書店800円（税抜き） 通販取り扱い：メロンブックス https://www.melonbooks.co.jp/detail/detail.php?product_id=2034072 サンプル www.pixiv.net 【目次】 はじめに 第1章 word2vecとは何か 1.1 そもそもwo…
はじめに こんにちは、MNTSQ（モンテスキュー）のアルゴリズムエンジニアの清水です。本記事では事前学習済み言語モデルの一つであるLUKEを用いた固有表現抽出の実装方法について紹介します。 LUKEとは LUKEは、LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attentionにおいて提案された言語モデルです。LUKEは、単語とエンティティの文脈付きベクトルを出力する知識拡張型（knowledge-enhanced）の言語モデルであることが大きな特徴です。単語とエンティティの双方を独立したトーク…
以前、 Next.js で作成したページを versel にデプロイしました。 eieito.hatenablog.com せっかくなので、 javascript を使った NLP を色々試しています。 コードは private repository で管理しているので、ブログで実装を紹介します。 ちなみに Next.jsのチュートリアル に従ってコードは TypeScript 化したので、 紹介するコードは TypeScript で書いています。また、コードは一部抜粋しています。 TinySegmenter 手始めに form に入力したテキストに対して TinySegmenter を実行す…
chasen.org
developers-jp.googleblog.com
anond.hatelabo.jp
www.moongift.jp
anond.hatelabo.jp
ja.stateofaiguides.com
note.nkmk.me
zenn.dev
www.moongift.jp
