構文解析

構文解析とは？ 自然言語処理の根っことなる技術として構文解析というものがあります。 1. 構文解析の定義 文章を自然言語であれば、形態素(意味を持つ最小単位、平たく言うと「単語」)ごとに切り分け、 さらに、形態素の間の関連(修飾-被修飾など)を図式化などすることによって、 文章を明確にする(解析する)手続きのことです。 2. 形態素解析と字句解析(Tokenize) 構文解析を細かく分けると、形態素解析と字句解析(Tokenize)に分けられます。 ちなみに、字句解析は一般的にTokenize(トークン化)と呼ばれています。 形態素解析と字句解析(Tokenize)の違いは、簡単に言うと、対象…

GW に更新のあった RuboCop 周辺のアップデートについてざっくりまとめておく。 Parser 3.0.1.1 github.com RuboCop が依存する Ruby の構文解析の Gem で、Ruby 3.0 で入った endless method definition のバグ修正と Ruby 3.1 (dev) のサポート追加をしている。 Ruby 3.0 で導入された endless method definition は以下のように = で終わる writer メソッドは定義できない。 % ruby -cve 'def foo=(foo) = @foo = foo' ruby…

随分と昔に、CCG(combinatory categorial grammar/組み合わせ範疇文法)のパーサを作った。 https://m-a-o.hatenablog.com/entry/20160614/p3この時の実装は、CYK法に近いもので、ボトムアップ構文解析である。ところで、人間が自然言語を処理する時は、単語を先頭から順に処理していってると思われる。普通のCCGに於いて、例えば、I saw a cat.という文は標準的には、以下のような導出木によってparseされる。 I saw a cat -- --------- ------ ----- NP (S\NP)/NP NP/N …

昨日の日記（12021年4月29日）です。 天気は雨。 電波は少し悪い。 学校 色々あって休校になりました。 Wantedly ベロイさんにWantedlyを紹介してもらったので、 早速登録してみました。 とりあえず作っただけで、 プロフィールは半分くらいしかできていませんが、 これから埋めていきたいです。 公開範囲をどうしようか考え中です。 ロジバンはPythonより複雑だ これは僕が勝手に言い出したことなのですが、 ロジバンの文法はPythonの文法より複雑です。 github.com github.com 上記はPythonのPEG文法とロジバンのPEG文法へのリンクです。 コメント行や…

前回の記事 abemotion.hatenablog.com 6章 アセンブラ 本章で説明する内容は、アセンブリ言語で書かれたプログラムをバイナリで書かれたプログラムへ変換するために、アセンブラがどのようなことを行っているか、ということである。 実装したプログラム アセンブラ Go言語を用い、記号表記で書かれている低水準言語の xxx.asm ファイルを、16ビットのバイナリコードで表現される xxx.hack ファイルへと変換するアセンブラの実装を行った。 アセンブラはユーザーの定義したシンボルを扱う事ができるようにする必要があるので、シンボルテーブルを使って、シンボルから物理メモリアドレス…

テキスト処理の要素技術 「テキスト処理の要素技術」内容紹介 「テキスト処理の要素技術」目次 「テキスト処理の要素技術」Amazonでの購入はこちら 「テキスト処理の要素技術」楽天市場での購入はこちら テキスト処理の要素技術 インプレスグループで理工学分野の専門書出版事業を手掛ける近代科学社は、2021年3月10日に、山本和英氏著書で佐藤理史氏、菊井玄一郎氏、関根聡氏、山本和英氏、乾健太郎氏、森辰則氏が編集委員を務めた、教科書だけでは得られない高性能な処理を実現するヒントが満載となる、自然言語処理におけるテキスト処理の様々な要素技術を実用的な手法に厳選してまとめている実践・自然言語処理シリーズの…

はじめに PHPのソースコードについて 標準関数のソースコードを読むコツ PHP本体のソースコードを読んでみる まとめ

完全に出遅れたが今年も3ヶ月おきにふりかえりをしていこうと思う。 やったこと 1月：「Go 言語でつくるインタプリタ入門」を途中まで Rust で頑張るものの挫折した Go言語でつくるインタプリタ作者:Thorsten Ball発売日: 2018/06/16メディア: 単行本（ソフトカバー） Rust の勉強のため & インタプリタについて知りたいというモチベーションで昨年12月ぐらいから取り組んでたものの、途中で飽きてしまい、こんなモチベーションで続けるぐらいなら気になってる Let's build a browser engine やった方がいいなーと思ってやめた。 たぶん、本格的に面白く…

VerilatorのInternalドキュメントを読む。ソースコードを読んでいるだけではだんだん良く分からなくなってきたので、一応概要を確認しておく。 github.com Verilator Internals このファイルではVerilatorの内部構造とプログラミングの詳細について議論する。これは開発者が問題をデバッグするときに参照するためのものである。 Verilator Internalsのプレゼンテーション http://www.veripool.org も参照のこと。 コードフロー Verilatorフロー Verilatorのメインフローは、Verilator.cppのproc…

×611 The E2 Marie Kondo and the CTLH E3 ligase clear deposited RNA binding proteins during the maternal-to-zygotic transition ×304 WEB+DB PRESS Vol.122｜技術評論社 ×252 Facebook does not plan to notify half-billion users affected by data leak | Reuters ×126 When Formula 1 Teams Cheat - YouTube ×106 Nation…

自分用のメモ 何をしたいか 環境 手順 必要なものをインストール VScode 拡張機能 必要なパッケージをインストール typescript を使用するなら 設定 jsconfig.json setting.json .eslintrc.js .prettierrc.js .stylelintrc.js .editorconfig 何をしたいか 人によってバラバラな書き方でコードが見にくいから自動的にフォーマットすることで、 統一し差異を無くしたい 環境 Mac Visual Studio Code "eslint": "^7.23.0", "@vue/eslint-config-prett…

TL; DR 「低レイヤを知りたい人のためのCコンパイラ作成入門」をやっている 関数定義が動くようになった 「低レイヤを知りたい人のためのCコンパイラ作成入門」はいいぞ はじめに 1年ぐらい前にこれが公開されて、ずっとやりたいと思っていたがやれてなかったので今年の2月ぐらいから地道に進めていた。 www.sigbus.info やっとこさ関数を定義して、関数を呼び出せるようになったのでここにいたるまでの振り返り 成果物はこれ GitHub - sasurau4/9ccs やって楽しいポイント loxのときのように別の言語で実装しても良かったが、Cをほとんど書いたことがなかったので、紹介されてい…

antlr4-python3-runtime for python3 による java source の parse / 構文解析 - end0tknr's kipple - web写経開発 以前、記載した上記entry の修正版。 *.java には、複数classの定義も可能ですので、以下を修正。 ast_analyze_executor.py ast.ast_processor.py ast.basic_info_listener.py 上記以外は、前回のentryの通りですので、修正後 $ /usr/local/python3/bin/python3 ast_analyze_execu…