句構造文法が文に与える木構造。 葉が単語を、他の接点が「文」「動詞句」「名詞句」「名詞」のような単語が属する範疇の階層を表す。 単に構文木という場合、句構造の木を指すことが多い。
こんにちは。NEO(x) 機械学習エンジニアの宮脇(@catshun_)です。 LLM から望ましい出力を得るための評価については、評価セットを用いた定量評価などが挙げられますが、本記事では システムへのLLM導入 という側面から動作検証に焦点を当てた話をコラムとして記述します。 LLM の評価に関する紹介は、以下のブログで紹介しているのでこちらもご参照いただけると嬉しいです。
「你想吃什么就吃什么。(あなたは食べたいものを何でも食べていいです。)」について考察します。検定試験の作文問題などにもよく出題される疑問詞を使った文ですが、「吃什么」が2回現れ、複雑なため、学習当初は難しく感じました。この文の構造をよりよく理解するため、この文の深層構造を英文"You can eat whatever you like.(あなたは食べたいものを何でも食べていいです。)"の構造と比較しながら説明します。 自作Pythonプログラムで分析したところ、英語文"You can eat whatever you like."の句構造は以下のとおりと分析されました。 英語文"You can…
本ブログ内で私が時々「自作Pythonプログラムを使って構文解析しました」等と言及することのある、Pythonを使った中国語句構造解析プログラムの作成方法・活用方法について説明します。なお、最初にお伝えしておきますが、私は職業エンジニア・プログラマーとしての実務経験はなく、プログラミングは独学で身につけ趣味でやっている程度ですので、記載内容に間違いが含まれていることもあるかもしれませんが、その点については責任を負えぬ点も含め予めご了承ください。 ■手順1 米国スタンフォード大学が開発したPython向け自然言語処理パッケージStanzaを使用したPythonプログラムを作成し、動作させるための…
英語を教える女性教師 英語の文法は主に名詞、動詞、形容詞、副詞、前置詞、接続詞、代名詞、そして冠詞の要素からできています。これらを組み合わせて文を作ります。 ごく基礎的な文法について 時制・受動態・比較級・疑問形について 1. 時制 (Tenses): 2. 受動態 (Passive voice): 3. 比較級と最上級 (Comparatives and Superlatives): 4. 疑問文 (Questions): 情報を尋ねるときに使います。 条件文・間接話法・不定詞・動名詞・関係詞について 条件文 間接話法 (Reported Speech): 不定詞 (Infinitives)…
サイボウズ・ラボの中谷です。 今回は2024年3月29日にサイボウズ東京オフィスで開催された第13期サイボウズ・ラボユース成果発表会の模様を紹介します。
「我有件事跟你商量。( 私はあなたに相談することがあります。)」という文について、連動文構造との関連や訳出の観点から考察してみたいと思います。 最初、筆者は「私はあなたに相談することがあります」という日本語文は「我有件跟你商量的事。」と訳出すべきではないかと思い、その妥当性についてあるネイティブ中国人に尋ねたところ、彼の見解では「我有件跟你商量的事。」という言い方も可能であるとのことでした。ただ、「我有件要跟你商量的事。」の方がより自然とのことでした。また、両文の感覚的違いとして、「我有件事要跟你商量。」では「商量(相談する)」が強調されるのに対し、「我有件要跟你商量的事。」では、「事」が強調…
気になる語法シリーズ、というワケでもないのですが、時々教材や入試問題の本文中に、そして日課の英語ニュースのRTの際に見かけて採取しておいたものを中心にとりあげます。辞書でも用例検索で探さないとなかなか見つからず、巷の学参や英語本でもそれほど扱われていないような印象です。 そんな中、 山崎竜成著 『知られざる英語の「素顔」』(プレイス、2022年) www.place-inc.net では、入試問題を出典として丁寧に扱っていて、驚かされました。流石だと思います。それでは、私の採取したものから。 1. Mr. Thatcher said, “Willy Grugschmid has been on…
Dzień dobry. MPIです。記念すべき(?)2つ目の解説です。 今回はAPLO2023より第5問、コンバイ語の問題です。早速始めていきましょう! 問題の出典 Step.1 軽い頻度解析 Step.2 名詞句解析 Step.3 動詞解析 Step.3-1 語幹解析 Step.3-2 疑問形態素解析 Step.3-3 数形態素解析 Step.3-4 習慣形態素解析 Step.4 母音調和規則 Step.5 解答 問題の出典 APLO2023-5 Kombai(コンバイ語) by Farhan Ishraq, Jerome Jochems(consultant: Lourens de Vr…
はじめに 本項では、放送大学教育振興会出版の黒橋禎夫『自然言語処理』の改訂版(2019年)と三訂版(2023年)を比較する。 自然言語処理の主流であった古典的手法が、ニューラルネットワーク的手法に圧倒されていくさまを見ることができる。 前著では比較的小さな扱いであったニューラルネットワーク的手法が後著では主役を占めることになるとは。 確かに歴史的場面を我々は見ている。 自然言語処理〔三訂版〕 (放送大学教材)作者:黒橋 禎夫放送大学教育振興会Amazon 自然言語処理〔改訂版〕 (放送大学教材)作者:禎夫, 黒橋放送大学教育振興会Amazon 目次の変化 改訂版から三訂版への改訂にあたって読者…
井上史雄『日本語ウォッチング』を読んだ(再読)。 日本語ウォッチング (岩波新書) 作者:史雄, 井上 発売日: 1998/01/20 メディア: 新書 内容は紹介文の通り、 「見れる」「食べれる」のようなラ抜き,「ちがかった」「うざい」「チョー」といった新表現,鼻濁音なしの発音….日本語が乱れてる-と嘆くのは早計だ.言語学の眼で考察すると,耳新しいことばが生まれる背後の言語体系のメカニズムや日本語変化の大きな流れが見えてくる.長年の調査・探究に裏打ちされた現代日本語の動向観察. というもの。 古い本にはなってしまうが、しかし、やはり読んで楽しいのは事実である。*1 以下、特に面白かったところ…
TL;DR 2023年に学んだ知識で2024年はマネーを獲得 2022年のふりかえり 2023年にやったこと After ChatGPT ChatGPTの使い方 コーディング自動化 アプリケーション開発 クラウドプラットフォーム関連 技術系の動画 フレームワーク関連 AWSコスト最適化大作戦 オライリー本 メインエディタをVSCodeに乗り換えた AndroidからiPhone 15 Proに乗り換えた OSSへの寄付 2023年にやりたかったこと 2024年にやりたいこと LLMを活用したアプリケーションを開発する 技術書を書く ニュースレターを配信する 動画を作る 事業を作る 2022年の…
はじめに こんにちは。株式会社LegalOn Technologies でエンジニアをしております、勝田(@WinField95)です。この記事は、情報検索・検索技術 Advent Calendar 2023 の 20日目の記事として執筆されました。 この記事では、ANTLR[1]を使用したシンプルなクエリ構文の解析を行う検索クエリパーサーの生成と、解析結果から Elasticsearch の Query DSL[2]への変換までのプロセスと簡単な実装を紹介します。実務では、要求に応じて複雑なクエリ構文の文法定義が必要になる場合もありますが、この記事ではなるべく簡単なクエリ構文を取り扱います。…
概要 感想 arxiv.org 概要 Google が2017年ごろに出したTransformer の論文 RNN、encoder-decoderモデル にAttentionと呼ばれる機構を追加したことによって、計算量を減らしながら精度を保つことに成功した Attentionというのは「注意機構」と呼ばれ、入力のある部分を注意を向けさせることで、計算量を抑えつつ、単語の依存関係も捉えることができた これまでは、計算量を抑えようとすると単語同士の関係の情報をを保つことができなかった Multi-head Attention:Attentionを複数の「ヘッド」に分割して、各ヘッドが独立でそれぞれ…