入力された字句（トークン）の並びが言語の文法に沿っているかどうかを調べると同時に、そこで使われている構文を決定する処理。
はじめに こんにちは。テクノロジーリサーチ部の後藤です。 2020年の4月に新卒入社として PHONE APPLI にジョインし、ちょうど一年が経とうとしています。 本当にあっという間でした。 新卒一年目にしてさまざまなことを経験させていただき、学びも多く有りましたが、その中でも自分が強く意識づけられたことは、「人に物事を伝える力」の重要性です。 特にテクノロジーリサーチ部は、技術調査をするという部署がら、調査結果を人に報告したり、文章に起こしたりする機会が多々あるので、相手に正確かつ漏れなく物事を伝える、ということが、どれだけ大切なのかを日々痛感させられています。 社会人にとってもこの「伝え…
はじめに FParsec 結果 数値の parse 空白の parse 文字列の parse 足し算の parse 足し算の parse (複数回) 実行手順 はじめに この問題 を FParsec で解いたので使い方をメモ。 問題概要としては 1 plus 2 plus 3 plus 4 のような入力から 10 を得たい、というもの。 FParsec F# のパーサコンビネータライブラリです。「string を parse する」「integer を parse する」などの部品が組み合わせやすい形で用意されていて、いちから自分で再帰下降するより (慣れれば) 速くパーサを作れます。 日本語…
構文解析とは？ 自然言語処理の根っことなる技術として構文解析というものがあります。 1. 構文解析の定義 文章を自然言語であれば、形態素(意味を持つ最小単位、平たく言うと「単語」)ごとに切り分け、 さらに、形態素の間の関連(修飾-被修飾など)を図式化などすることによって、 文章を明確にする(解析する)手続きのことです。 2. 形態素解析と字句解析(Tokenize) 構文解析を細かく分けると、形態素解析と字句解析(Tokenize)に分けられます。 ちなみに、字句解析は一般的にTokenize(トークン化)と呼ばれています。 形態素解析と字句解析(Tokenize)の違いは、簡単に言うと、対象…
試験間近。過去問追い込み中。整理用にメモ。 午後Ⅰ 問1 午後Ⅰ 問2 午後Ⅰ 問3 IPA午後Ⅰ回答 午後Ⅰ 問1 設問1 （1）ア：%0D%0AHTTP ヘッダインジェクション：URLのクエリストリングに改行コードなどを挿入することでHTTPヘッダを不正に改変し、ブラウザに不正な動作をさせる攻撃。任意のスクリプトを埋め込んだり任意のCookieを発行しセッションIDを固定化したりできる。対策としては、外部から渡されるパラメータをエスケープ処理すればよい。HTTPヘッダは改行コード「%0D%0A」が使われる。（CR：行頭復帰/コード0x0D/正規表現\r、LF：改行/コード0x0A/正規表現…
クラスマッチ1日目 パソコンを持って行って休み時間中にやっていました まる AWKもどきの方は、^を右結合にして文字列パーサーが空文字列をパースできない問題を解決して前置単行演算子を追加しました パーサには再帰下降構文解析法を使っている（パーサコンビネーター）ため、左再帰を素直に書くことができないため、1＊2＊3のような式は一回の関数呼び出しで一気に処理しています ただ、右結合の演算子については問題なく再帰で処理できるためループで処理をしていません あまり良い選択には思えないのですが、とりあえず動くのでOKです
宣言通り勉強進めました。 AWKっぽいやつもちょいすすめて、パーサがトークン間のスペースを解釈できるようになった。 パーサコンビネーターは全てがパーサのおかげでテストがしやすく、作りやすいのがとても良いのだけれども役割の分担をせずに複雑なものを複雑なまま扱ってるから結構辛かったり。 レキサー→パーサーの構造の方がそこはやりやすそう。 パーサコンビネーターだとLL法（再帰下降構文解析）しかできないしね。 スペースは要素の内側だけを面倒見ることできちんと分割できるよう頑張った。 もっといくつもやっていかないといけない。 ただ、ゴールへの道筋は見えてきたのでちびちび（もちろん勉強を優先して）頑張るぞ…
英単語、英文法、英文解釈をある程度勉強した人、そんなん人はついに英語長文の勉強に進むべきです！ 英語長文は、英語試験の中で最も配点が高く、英語長文問題を正解できるかどうかが、合否の分かれ目になります。 しかし、次のような悩みを抱えている人も多いのではないでしょうか？ 本屋さんには、星の数ほど英語長文の問題集があって、どれを使うか迷う～！ こんな悩みを抱えている人には、「英語長文ハイパートレーニング」を検討しても良いと思います。 でも、「英語長文ハイパートレーニング」ってどんな問題集なの？特徴や難易度は？？ 「英語長文ハイパートレーニング」は、どの問題集よりもの詳しい英文構造の解説が特徴の問題集…
今日は欧米の女の子っぽい見た目の先生で、ポニーテールにスカーフ（？）を縛っているようだった。この先生の時には何故かSkypeのコールがかかってきて応答する前に切れる。これを1,2回繰り返してようやく接続できる。使用しているPCの調子が悪いのだろうか。この先生は、スムーズに言えないセンテンスを何度か繰り返し発話して、ようやくスムーズに言えた時に、右手の親指を立てて笑顔でGood！とやってくる。私の場合スムーズに言えないセンテンスが多いので、１つ終わる度に毎回Good！とやってくれるので、若干反応してよいのか分かる。ただし、そういったジェスチャーだけではなくて発音もしっかり指摘してくれる貴重な先生…
前回操車場アルゴリズムで数式をパースしましたが、符号がうまくパースできませんでした。 符号を使えないのは不便なのでなんとかしたいと思います。 hollyhockberry.hatenablog.com
読んでいる本 問題と提出した回答A04 import java.util.Scanner; public class Main { public static void main(String[] args) { Scanner sc = new Scanner(System.in); int N = sc.nextInt(); String N_binary = Integer.toBinaryString(N); String pre_0 = "";//先頭につける0 //10桁に足りない分だけ0を先頭に付ける for (int i = 0; i < (10 - N_binary.leng…
技術部の遠藤（@mametter）です。おまたせしました、RubyKaigi 2022で出題したクックパッドブースの企画、Cookpad Code Puzzle for RubyKaigi 2022の裏ステージの解説です。 このパズル自体の解説は前編の記事をごらんください。 techlife.cookpad.com さっそく11問目から解説していきます。 11問目 p func11(0) #=> -510240563 p func11(1) #=> -171748573 p func11(2) #=> 405559065 p func11("foo") #=> -62024031 何を与えても…
ちょっとした思いつきで数式をパースする必要が出てきたので、練習がてらC#で実装してみたいと思います。 とりあえずは「操車場アルゴリズム」をやっつけます。
リポジトリ: https://github.com/season1618/PentagonScript webサイト: https://season1618.github.io/PentagonScript/ 8月に作ってた作図言語（去年の続き + 破壊的変更）https://t.co/hh8aiz3Z4thttps://t.co/9aby68Ygeihttps://t.co/rOMwKvmlR9 pic.twitter.com/MgqnYk1ebR— season (@season1618) 2022年9月18日 正5角形と正17角形の作図 pic.twitter.com/mY5FlETv5…
英単語、英文法、英文解釈をある程度勉強した人、そんなん人はついに英語長文の勉強に進むべきです！ 英語長文は、英語試験の中で最も配点が高く、英語長文問題を正解できるかどうかが、合否の分かれ目になります。 しかし、次のような悩みを抱えている人も多いのではないでしょうか？ 本屋さんには、星の数ほど英語長文の問題集があって、どれを使うか迷う～！ こんな悩みを抱えている人には、「全レベル問題集 英語長文（以下、全レベル問題集）」を検討しても良いと思います。 「全レベル問題集」は、独学で英語の勉強を続けている人でも使いやすい大変親切な問題集です。 今回の記事を読んで、「全レベル問題集」に魅力を感じた人は、…
本記事は、過去に他のブログで書いたものを引っ越ししてきた記事になります。 Pythonで時間や日時を扱うtimeモジュールとdatetimeモジュールについて、よく利用する操作を自分用にまとめました。必要に応じて追記していきます。 時間や日時を表すモジュール 主なデータ型 datetime型を扱う datetimeオブジェクトの生成 datetime→文字列に型変換 文字列→datetimeに型変換 参考 時間や日時を表すモジュール Pythonで時間や日時に関する処理を行うモジュールには、よく使うものにtimeとdatetimeがあります。 docs.python.org docs.pyth…
前回の整数の後半の内容はあまりプログラミングで使われない内容になっていました。 すみません。 今回は極めて有用なことを書きます。 ブロックとイテレーションです。 繰り返し 同じことを何回もやるときのブログラムについて述べます。例えばHello worldを3回表示したければ、 print "Hello world.\n" print "Hello world.\n" print "Hello world.\n" でも良いのですが、もっと良い方法があります。 整数のメソッドにtimesというのがあります。 これはそのメソッドに付属するブロックをその整数の回数だけ繰り返すというメソッドです。 3.…
東証株日報からのデータ抽出、少し前進。耄碌爺にこれ以上できるか全く不明ですが、ひとまず、世間様へ恥さらしながら…。 現状：約4000件のデータ、CSVに保存できた。 課題：データとしてはまだ不十分かと…。 参考程度のスクリプト モジュールなどのインポート PDFMinerの設定など PDFを解析しテキスト抽出、銘柄コード位置取得 １銘柄１行のデータにし、CSV保管 関連記事 現状：約4000件のデータ、CSVに保存できた。 PDFで提供されている東証株相場表から、銘柄コード、株価などを抽出し、CSVで保存する目論見、なんとかできているようです。目視でこんなものかな、という程度ですので錯誤の可能…
はじめに 自然言語処理（Natural Language Processing：NLP）は、人間の言語（自然言語）を機械で処理し、内容を抽出することです。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析などがあります。 形態素解析の意味は以下の引用のようになります。 形態素解析とは、日頃使っている言葉（自然言語）を「形態素」（=意味を有する表現要素の最小単位）にまで分割し、それらが品詞としてどれに当たるのか分類する文字列抽出法のことです。 形態素の概念自体は、「単語」とよく似ています。しかし、単語ほど単体で取り扱えるものではありません。“意味を有する表現要素の最小単位”といっても実際…
blog.takuros.net
qiita.com
www.slideshare.net
www.infoq.com
www.kmonos.net
nanto.asablo.jp
www.unixuser.org
h-sakurai.hatenadiary.org
keens.github.io
