入力された字句（トークン）の並びが言語の文法に沿っているかどうかを調べると同時に、そこで使われている構文を決定する処理。
はじめに こんにちは。テクノロジーリサーチ部の後藤です。 2020年の4月に新卒入社として PHONE APPLI にジョインし、ちょうど一年が経とうとしています。 本当にあっという間でした。 新卒一年目にしてさまざまなことを経験させていただき、学びも多く有りましたが、その中でも自分が強く意識づけられたことは、「人に物事を伝える力」の重要性です。 特にテクノロジーリサーチ部は、技術調査をするという部署がら、調査結果を人に報告したり、文章に起こしたりする機会が多々あるので、相手に正確かつ漏れなく物事を伝える、ということが、どれだけ大切なのかを日々痛感させられています。 社会人にとってもこの「伝え…
はじめに FParsec 結果 数値の parse 空白の parse 文字列の parse 足し算の parse 足し算の parse (複数回) 実行手順 はじめに この問題 を FParsec で解いたので使い方をメモ。 問題概要としては 1 plus 2 plus 3 plus 4 のような入力から 10 を得たい、というもの。 FParsec F# のパーサコンビネータライブラリです。「string を parse する」「integer を parse する」などの部品が組み合わせやすい形で用意されていて、いちから自分で再帰下降するより (慣れれば) 速くパーサを作れます。 日本語…
構文解析とは？ 自然言語処理の根っことなる技術として構文解析というものがあります。 1. 構文解析の定義 文章を自然言語であれば、形態素(意味を持つ最小単位、平たく言うと「単語」)ごとに切り分け、 さらに、形態素の間の関連(修飾-被修飾など)を図式化などすることによって、 文章を明確にする(解析する)手続きのことです。 2. 形態素解析と字句解析(Tokenize) 構文解析を細かく分けると、形態素解析と字句解析(Tokenize)に分けられます。 ちなみに、字句解析は一般的にTokenize(トークン化)と呼ばれています。 形態素解析と字句解析(Tokenize)の違いは、簡単に言うと、対象…
始めに こちらの記事では以下の流れでデザインパターンの解説を行なっています。 この中で最も重要なのは以下のふたつ 現代のGoFデザインパターンの立ち位置【リファクタリングと自動テストが登場してから】 15年後の2009年に行われた GoFによるGoFデザインパターンの再定義（重要） です。また、 GoFデザインパターンの教え では、 継承ではなく委譲 実装ではなくインターフェースにプログラミング オブジェクト指向プログラミングでの本質的な再利用性の提示 「変更されない部分」と「変更されやすい部分」の分離 についてもtwadaさんの解説をまとめ、加筆しました。 こちらもオブジェクト指向を理解する…
あるいは必要十分条件について1。 Nu Html Checkerの場合 Nu Html Checkerは、HTMLをチェックするツールである。Nu Html Checkerで特定の（種類の）エラーを0にすることは、「構文解析」のWCAGの達成基準を満たすための必要十分条件となる。 達成基準 4.1.1 構文解析 (レベル A): マークアップ言語を用いて実装されているコンテンツにおいては、要素には完全な開始タグ及び終了タグがあり、要素は仕様に準じて入れ子になっていて、要素には重複した属性がなく、どの ID も一意的である。ただし、仕様で認められているものを除く。 筆者による上記引用のハイライト…
構文論： 基本概念 別名 ラベル 名前, 変数, 不定元, 定数, 識別子 シング n-射, もの, 実体, 具体物 割り当て 束縛, 代入, 関連付け〈association〉 リテラル 定数, 名前, 記号 コネクティブ 演算{子}?記号 コンビネーション 項, 式, 図式 ※ 論理のリテラルは、原子論理式〈アトム〉またはその否定。コンビネーションは順列組み合わせとは無関係。構文論の基本概念であるが、シングは意味領域の対象物〈semantic object〉。ラベル、リテラル、コネクティブ、コンビネーションは構文領域の対象物〈syntactic object〉。 コンビネーションは構文解析…
静的プレースホルダと動的プレースホルダの違いが分からなかったので調べました。 結論 SQLの組み立てには2つの方法がある。 プレースホルダーとは？ プレースホルダによる組み立てとは、パラメータ部分を「?」などの記号で示しておき、後に、そこへ実際 の値を機械的な処理で割り当てる方法です。 パラメータ部分を示す記号「?」のことをプレースホルダと呼び、そこへ実際の値を割り当てるこ とを「バインドする」と呼びます。プレースホルダのことを「バインド変数」と呼ぶこともあります。 変数を使ってSQL内のパラメータへ値を代入しSQL文を組み立てる方法。 pg gemでのプレースホルダは$マークで始まる($1や…
こんにちは、エンジニアリング室のえんじぇるです。 今年の2月から月に1回 テクノロジー部門の社内LT大会を開催しています。どんな目的で社内LT大会を始めたのか、どんなテーマで何を話しているのか、やってみてどんないいことがあったのかを紹介します！ 社内LTを始めた理由 社内の情報交換を活性化したい Product Blogやカンファレンススポンサーなど、社外への発信もがんばっていきたいのですが、それと同時に、社内の情報交流ももっと活性化したいと思いました。heyのテクノロジー部門は事業部ごとにチームがわかれているので、チーム外のメンバーを知るきっかけにもなるといいなと。 話す練習の場にしたい カ…
どうも、まりはちです。 4年間くらい間が空きましたが生きてます。 最近はTwitterにいませんが、Misskeyにはいます。 最近は構文解析にハマっていて、パーサーコンビネータライブラリを公開するまでになったので、近いうちにそれについても紹介したいなと思っています。 ではまた🚀
フロントエンド側 エディター ブラウザ側でユーザの入力を受け付けたりする TSで作ろう。 補完機能は 各言語に用意されているLanguage Server ↓ Language Server Protocol LSPでLSに接続 ↓ エディターがLSPに接続して補完 microsoft.github.io 使い方 Monaco Editorの基本的な使い方 - Qiita Create a web editor using Monaco editor, React and Node + Webpack and Typescript … How hard can it be? | by Nipu…
1.3 オートマトン 大体知ってる分野なので、キーワードだけ抑えてサクサク読み飛ばしていく。 形式言語理論の一分野。試験範囲のオートマトンは有限オートマトンのみ。ほかにも無限オートマトンなどある。 有限オートマトン (FSM: Finite State Machine) K：有限個の状態の集合 Σ：入力記号の有限集合 σ：Σに属する各入力記号と現在の状態が引き起こす状態遷移関数 q0：状態Kの集合の一要素である初期状態 F：状態Kの部分集合である受理状態集合 正規言語 正規表現によって表されるされる言語 文字列マッチングでよく使われる正規表現も同じ アプリケーションやプログラミングにおいて正規…
Give us sociability (Kattu, Hyado, hotman) で組んで出場しました。 全体18位/学内1位で、今年もアジア大会への進出となりました。
C/C++ の HTML パーサーを紹介する。 libxml XML を解析するための C言語のライブラリです。 wikipedi : libxml2 下記のウェブサイトに HTML パーサーの例が紹介されている。 hatenablog: libxmlでHTMLParserを使う hateblo: c/c++で、htmlをパースする いずれも10年前の記事です。 Mac で動作確認を行なった。 動作確認を行なったソースコードを Github に公開した。 https://github.com/ohwada/MAC_cpp_Samples/tree/master/libxml/html_pars…
sakaik さんが MySQL: desc は explain ！？ - sakaikの日々雑感～(T)編 という記事を上げてたのを見て、そういや最近はほかにどんなのがあるんだっけ…と思って調べてみた。 以下はMySQL 8.0.29 の sql/lex.h から抽出したもの。字句解析上のシノニム。 <> != ANY SOME BIGINT INT8 CHAR CHARACTER COLUMNS FIELDS CURDATE* CURRENT_DATE CURTIME* CURRENT_TIME DATABASE SCHEMA DATABASES SCHEMAS DAY SQL_TSI_D…
ＳＱＬインジェクション攻撃とは 発生しうる脅威 注意すべきページの特徴 根本的な解決方法 SQL文の組み立ては全てプレースホルダで実装する なぜ『文字列連結処理』が安全でないのか 『動的プレースホルダ』の使用時には注意が必要 SQL文のリテラルを正しく構成する ウェブアプリケーションに渡されるパラメータにSQL文を直接指定しない 保険的な解決方法 エラーメッセージをそのままブラウザに表示しない データベースアカウントに適切な権限を与える 参考 ＳＱＬインジェクション攻撃とは データベース（DB）を利用するWebアプリケーションの多くは、利用者からの入力情報からSQL文を構築し、DBを操作する。…
ICPC 2022 国内予選に shuz*, nope, ruthen で shichifuku として参加しました。 このチームは 3 年目となります。 本番前 チーム練習は 6 月中旬から、サークル活動で AOJ-ICPC の問題を解きました。 模擬国内予選 2022 の成績は以下になります。 jag-icpc.org 参加資格のあるチームの中では 27 位、選抜チームの中では 23 位でした。 大学内 2 位でしたが、本番なら通過できる順位だったので、この調子で頑張りたいという感じでした。 今年は大学から 5 チーム出場する予定であり、1 チーム実力が飛び抜けているチーム (otagai…
チームTUTankhamunとして参加し、4完45位（298チーム中）でした ICPCお疲れさまでした～～ Cの実装を担当しました、4完嬉しすぎる！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！ pic.twitter.com/lHgBO1TmDL— まぁじ (@Hals_SC) 2022年7月8日 順位表 チーム チーム名 "TUTankhamun" の由来 ･･･ 大学の略称TUTと、ツタンカーメン王を掛けている。スペルが覚えられないことで有名。 メンバーはecasdqina、MATSUMAT、hals。AtCoder黄水緑のチーム。 エカス…
はじめに 今年もICPC国内予選に参加しました。今年のチームメンバーはあめふり君とノブチ君です。 今年は対面でもOKだったようなのですが、去年同様オンライン形式で参加しました。去年から変わった点を挙げるとしたら、Zoomの教育機関向けの支援が終了したため、代わりにDiscordのグループ通話を使った点ですね。 開始前日 全く見ないのはどうかと思ったので、過去問をほんの少しだけ解きました。解いたのは「国内予選2017A」「国内予選2017B」「国内予選2018A」「国内予選2018C」です。本当はもう少し解こうと思ったのですが、前日だったので寝不足になるほうがデメリットが大きいと思い、切り上げて…
blog.takuros.net
qiita.com
www.slideshare.net
www.infoq.com
www.kmonos.net
nanto.asablo.jp
www.unixuser.org
h-sakurai.hatenadiary.org
keens.github.io
