Hatena Blog Tags
はてなブログ トップ
Docling
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Docling

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
はちみつブログ•2ヶ月前

英語Markdown文書のローカルLLM翻訳

以前、OllamaやLM Studioで翻訳をしてみたが、その続き。どちらかというと、、、LM Studioのコンテキスト長調整はありがたいことと、langchain-text-splitterがすばらしいという話になりそうだが笑 はじめに 以前(これやこれやこれ)の復習として、たとえば英語の論文を読みたい時に自分が英語が大変苦手で。できれば、Markdownにした上で、Google翻訳よりは読みやすい日本語で翻訳することを目指している。 今回はセクション単位での翻訳を目指すことにする。理由としては、LLMのコンテキスト長。正直API経由などで各種サービスのモデルを利用すれば、論文全体を入力し…

#Python#LLM#LM Studio#Docling#Markdown

関連ブログ

地平線まで行ってくる。•3ヶ月前

Doclingを利用してpdfからmarkdownへの変換を見直してみる。

LLMでの文書ファイルを活用するためには、まだまだmarkdownをうまく活用する場面が多くあります。Pythonでコーディングする場合には、改めて調べるとPyMuPDF4LLMかDoclingあたりが候補になりそうでした。PyMuPDF4LLMも軽量で良好でしたが、今回はDoclingを手を動かして試してみます。 github.com markdownに図データを切り出し、参照埋め込み型Markdownへと変換を実施します。 Doclingのパイプラインでオプションを設定。 # PDFパイプラインオプションのインスタンス化pipeline_options = PdfPipelineOptio…

#Docling#RAG
はちみつブログ•4ヶ月前

PDFのMarkdown化を検証してみた

少し脇道にそれる内容になるが…最近のPDF→テキスト化のトレンドを確認してみようと思ってきた。というのが、自分は英語がめちゃくちゃ苦手だ笑 それでも、学生時代よりは割り切って翻訳AIを使えることもあり、まあまあ読みやすくはなってきている。 以前も文献管理ソフトのZotero上で翻訳を行うプラグインなどは紹介したが、常にZoteroを開けるわけでもないので、論文を何かしらのテキストにして、その上で翻訳したテキストも手元に置けると自分のような英語弱者には心強い。最近の論文はHTMLとして公開されているものも多いので、そういうものはまあ何かしらのブラウザ上で翻訳してしまってもいいのだが、まだまだPD…

#Markdown#Python#MarkItDown#Docling#PDFMiner.six
uepon日々の備忘録•1年前

【メモ】RAGシステム構築の強い味方 - Doclingによるドキュメント変換入門

IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです😊 Doclingとは？ Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコンバートツールになります。 **URLが変わったようです（2025.05.15修正） github.com 【Doclingの特徴】 一般的な文書フォーマット（PDF、DOCX、PPTX、XLSX、画像、HTML、AsciiDoc、Markdown）を読み取り、HTML、Markdown、JSON（…

#RAG#IBM#Docling
CCCMKホールディングス TECH LABの Tech Blog•1年前

様々な形式のドキュメントからテキスト情報を取得する"Docling"を使ってみる。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日チームのメンバーに教えてもらい、試してみたいな・・・と思っていたライブラリを今回試すことが出来ました。"Docling"というライブラリで、PDFなどのファイルから、内容をマークダウンかjsonのテキストデータで抽出することが出来るライブラリです。RAGでの活用が期待できます。 試しに使ってみたところ、日本語のファイルでもかなり良い感じにテキストデータが取得出来ており、すごいなぁとビックリしました。 DoclingはarXivにテクニカルレポートがあり、そちらを読むことでどういったパイプラインで処理を行っているのかを理解…

#AI#Docling#RAG