形態素

どのくらい細かく日本語を分けることができるのか？ 日本語の文を分けるとき、どこで区切ればよいのか？ 文？文節？単語？形態素？音節？音素？ たしか小学校のときに習ったと思うけど・・・。意外と忘れがちです。 今回は日本語の分割の仕方は？とういうはなしです。 どのくらい細かく日本語を分けることができるのか？ 日本語の文を分割 文 文節 形態素 単語 音節 音素 【補足】音節とモーラ まとめ 日本語の文を分割 一番長いのが「文」です。だんだん細かくしていくと、最終的には「音素」ごとに分けられます。 文が一番長くて、音素が一番短い。 それでは、長い→短い 順で説明していきます。 文 「私は言語学を勉強す…

“fare”が「行く」の意味でそこからwelfare「福祉」やfarewell「さらば」が生まれたというのは2020/8/6の記事で解説しましたが，今回はferry「フェリー」の“fer”が「運ぶ（bear）」でそこから色々な単語が生まれるという話です。 今回はいちいち“fer”に強勢（アクセント）があるのか“fer”じゃない方（前の音節）に強勢があるのかを追記していきます。この違いはある重要な違いを生むからです（後述） infer「推論する，推察する」（ferに強勢） 「in（中へ）」＋「fer（運ぶ）」→「運び入れる」 ※ある事実から，ある考えを「運び入れる」というイメージ confer「…

「謎のモノリス」なんて表現をたまに見ますよね。 monolithは「一枚岩（の巨岩）」という意味です。 “lith”は「石・岩」という意味の形態素です。 neolithic「新石器時代の」 ※名詞ではthe New Stone Ageが簡単 paleolithic，palaeolithic「旧石器時代の」 ※名詞ではthe Old Stone Ageが簡単 ※“paleo-” “palaeo-”は「古（ancient）」。paleontology「古生物学」 trilithon /trʌɪlɪ́θən/，trilith「トリリトン」 ２つの石が１つの石を支えているもの ※dolmenドルメンは…

pensionは「年金」です。 ・pension /pénʃən/「年金，恩給」 I live on a pension.「私は年金で暮らしています」（onは依存のon） a pension plan [system]「年金制度」 ・pension /pɑːnsjóʊn/「下宿屋」 「下宿屋」の「ペンション」は「パンスィヨ〜ン」とか「パンズィヨ〜ン」という発音になります。 この２つに共通しているのは「支払い（payment）」ですね。「支払い」から「年金」と「下宿屋」が派生したわけです。 更に言うと，“pen(d)”「吊るす」→「量る」→「支払う」となったのです。 例えばsuspendは「下に…

2020/11/4の記事でsubscribe to ...「……を定期購読する」に触れましたので，“scribe”「書く」を含んでいる単語を整理します。 scribble「走り書き（なぐり書き，落書き）する」 →scribbler「走り書きする人，下手な作家，（カナダ英語）自由帳」 「自由帳」って面白いですね。「本当にそんな意味あるの？」と思ったら「グーグル画像検索」がおすすめです。scribblerでグーグル画像検索すると，ノート的なものや，電子メモ帳のようなものがちらほら見えますね。 scribe「書記官，写本を作る人」 ウルティマオンラインにScribeという職業の人がいたと思います。印…

同じ単語の中で意味・用法が違うといったものではなく，元々違う単語（たまたま綴りが同じなだけ）の場合はbill1，bill2のように右肩に数字がついて区別されていることが多いです。今回のconsoleも別語源の２語があります。 console1「慰める」 ※console 人 for N「Nに関して人を慰める」 ※console 人 that節「人を……という考え方でもって慰める」 ※関連語：solace「慰め（る）」 ※覚え方としては，solからsolo「独り」を連想し，「独り」→「慰める」と考えると良い。 ※ただし語源的にはsolo「独り」からではなくsol「太陽」からっぽい？確かに日光にあ…

英文読解時にaudience＝「観客」で決め打ちすると痛い目に遭うことがあります。 結論的に言うとaudienceは映画・演劇に限らず，基本的にあらゆるメディアの利用者です。 まず語源的に見ると形態素“audi”は「聴く」を意味し，そういう意味では「聴衆」です。でもその場にいれば聞くと同時に見られるので「観衆・観客」でもいいということになります。 元は「聴衆」だったかもしれませんが，今では本の「読者」（reader），ラジオの「リスナー」（listener），ウェブサイトの「閲覧者」，また芸術家の作品を見る人までaudienceと言えます。例えはウェブサイトの週間閲覧数の意味でweekly a…

Python 実践 データ加工/可視化 １００本ノック」を購入したので、 一通りやっているところです。今日はノック56を行います。 資料は以下から入手できます。 Python実践 データ加工/可視化 100本ノック｜サポート｜秀和システム ノック56 名詞と動詞を取り出そう 前回作成したMeCabのデータフレームから原型と品詞をグループ化し件数を確認します。 #タイトルと著者名の取得 with open('data/hashire_merosu.txt',mode='r',encoding='shift-jis') as f : title = f.readline() author = f.…

ノック55：分割したデータをデータフレームで保持しよう 単語に分割されたデータをデータフレーム型にし保存します。 #タイトルと著者名の取得 with open('data/hashire_merosu.txt',mode='r',encoding='shift-jis') as f : title = f.readline() author = f.readline() title = title.replace('\n','') author = author.replace('\n','') #公開日と修正日の取得 with open('data/hashire_merosu.txt',m…

Python 実践 データ加工/可視化 １００本ノック」を購入したので、 一通りやっているところです。今日はノック54を行います。 資料は以下から入手できます。 Python実践 データ加工/可視化 100本ノック｜サポート｜秀和システム ノック54：形態素解析で単語に分解しよう MeCabを使用して文章を最小単位に分解します。 1.MeCabのインストール方法 MeCabのURLに移動します。 taku910.github.io 下にスクロールするとダウンロードと記載されているので、mecab-0.996.exeをダウンロードします。 MeCab HP mecab-0.996.exeを起動す…

Pythonでマーケットを分析する方法を紹介。 市場のセンチメント分析 Pythonで指定した株価Tickerのニュースをスクレイピング。英語の形態素分析を行い、感情極地対応表を行い、市場センチメントを分析するもの。 Pythonで市場センチメントを分析しよう 作者:Satoshi Amazon 10の指標データと相関関係のPython分析 株価予測に使える１０の指標データと相関関係のPython分析: -マクロ経済を見ていこう- Pythonで米国株をデータ分析 作者:Satoshi Amazon Covid9データと株価分析 PythonでCovid19データと株価分析 作者:Satosh…

はじめに こんにちは、データサイエンスグループの新田です。 基盤エンジニアというロールで弊グループのバックエンド・インフラの開発・運用に従事しています。 データサイエンスグループでは、DMM サービスにおいて、ユーザの検索体験の向上させるために、 A/Bテストを用いた効果検証を通して 検索改善 に取り組んでいます。 組織・システム等の制約がある中で、どのようなシステムアーキテクチャを構成し、 検索改善施策の適用や A/B テストを実現しているのか。この記事で事例を紹介したいと思います。 施策内容の詳細は、一緒に仕事をしているデータサイエンティストやMLエンジニアの方が別の記事で紹介をする予定で…

データプラットフォームグループの富士谷です。普段は弊社の機械学習基盤であるLivesense Brainの運用・開発を行っています。 機械学習基盤とは実際のところ、機械学習に関わる複雑な処理にも耐えられるバッチ処理・Webアプリケーション実行環境であり、Livesense Brainでは機械学習に限らず、社内外向けに様々なシステムを構築しています。 さて、今回は、少し前に取り組んだ、音声認識結果の文字起こしからのキーワード抽出の取り組みについて、簡単にご紹介したいと思います。 はじめに リブセンスでは新規事業の1つとして、オンライン面接ツールbatonnの開発に取り組んでおり、昨年β版をリリー…

こんにちは！TECH Street編集部です！ 2022年2月10日（木）に開催したPythonエンジニア勉強会。今回は、Pythonの歴史から最新トレンド共有までを行う勉強会イベント第2弾を開催した様子をお届けいたします。 登壇者はこの方！阿部 一也さん／Institution for a Global Society株式会社 まずは、Pythonの概要と誕生のきっかけをお話いただきました。 そもそもPythonとは TIOBE Softwareが毎月発表するプログラミング言語の人気ランキング「TIOBEインデックス」では、2022年2月にPythonが1位になりました。数あるレガシーな言語…

自然言語処理において文章分類は一つの重要なタスクである。その際に，各文章に出てくる形態素の数の分布をとることでその文章の特徴として調べる方法があるが，Aさんは，ネット上のいくつかのブログ記事（少なくとも300文字程度はある文章）を分類しようと考え，各ブログ記事のテキストデータをそのままMeCabを用いて形態素に分割し，それぞれのブログ記事において出現回数が最も多かった上位３つの形態素をそれぞれのブログ記事の特徴とした。参考までにMeCabを用いた形態素の分割結果を下記に示す。(/で分割されている) これ/は/、/形態/素/に/MeCab/を/用い/て/分け/た/例/です/。【問題】以下の問に対…

言語学の大半は西洋が発祥で、日本では明治以降に翻訳されたものが多いようです。 ということは、日本語で読んでしっくりこない言葉があった場合、元の意味を調べれば何か分かるのではと考え、英英辞典で調べてみました。 形態素：morpheme The smallest unit of meaning in a language. The words 'so', 'the', and 'boy' consist of one morpheme. 'Boys' consists of two morphemes, 'boy' and 's'. 言語における意味の最小単位。'so'、'the' および 'bo…

同じ社名の顧客がいくつか存在していて困った事があったので、日本の会社の社名を中心に国税庁が公表している法人番号公表サイトのデータを使って色々分析してみました。 帝国データバンク、SPEEDA、uSonar、商工リサーチなどの有料のサービスを使わずに、個人で費用をかけずにどこまで調査できるかトライした結果です。 ※使用したデータは2022年2月28日時点の法人番号データです。 1. 日本で一番多い会社名（会社名ランキング） 2. 会社名の文字数 3. 同じ市内に同じ名前の会社はあるか？（登記住所の分析） 4. 上場企業と同名法人の登録状況 5. 都道府県別会社数 6.＊＊工業、＊＊建設、＊＊サー…

Asia Pacific Linguistics Olympiad 2022（アジア太平洋言語学オリンピック2022） 第1問. パナラ語 ジャンル：統語 難易度：☆5

はじめに 『Rが生産性を高める 〜データ分析ワークフロー効率化の実践』(R登山本)の内容を実際にやってみた記録や気になったことのメモです。 この記事は、6章を読んでやってみた内容です。本とあわせて読んでください。 【前の内容】 www.anarchive-beta.com 【この記事の内容】 はじめに バーチャートレースによる頻出語の可視化 形態素解析 単語の集計 バーチャートレースの作成 参考書籍 おわりに バーチャートレースによる頻出語の可視化 前回は、指定した月に登場した単語の頻度を棒グラフで可視化しました。今回は、期間を指定して、月ごとの単語の推移をバーチャートレースで可視化します。 …