個人的なメモ

Tomohiro Suzuki @hiro128_777 のブログです。Microsoft MVP for Developer Technologies 2017- 本ブログと所属組織の公式見解は関係ございません。

2024-02-01から1ヶ月間の記事一覧

C# だけで Azure OpenAI の RAG を試してみたい (5)Blob コンテナ上でのソースデータの更新日時の管理

留意点②:Blob コンテナ上でのソースデータの更新日時の管理 Blob メタデータへ url と 最終更新日時を付加したうえで、Blob 上の既存項目から更新があればアップロードする 前の記事 hiro128.hatenablog.jp 留意点②:Blob コンテナ上でのソースデータの更新…

C# だけで Azure OpenAI の RAG を試してみたい (4)html ファイルのクレンジング

html ファイルのクレンジング どのような実装をしたのか 参考にした Python のサンプルの実装 移植した C# の実装 前の記事 hiro128.hatenablog.jp html ファイルのクレンジング 作成したソースコードの詳細は以下を参照ください。 github.com どのような実…

C# だけで Azure OpenAI の RAG を試してみたい (3)TokenCounter の実装

TokenCounter の実装 Tokenizer のライブラリ 作成した C# のソースコード 前の記事 hiro128.hatenablog.jp TokenCounter の実装 SplitPlainTextParagraphs メソッドで正しくトークンをカウントするために必要な tokenCounter パラメーターはソースコードを…

C# だけで Azure OpenAI の RAG を試してみたい (2)C# によるテキストのクレンジング・チャンクの方針

C# のみで RAG を構築する場合の留意点 留意点①:C# によるテキストのクレンジング・チャンク SemanticKernel.TextChunker を使う SplitPlainTextParagraphs メソッドの留意点 前の記事 hiro128.hatenablog.jp C# のみで RAG を構築する場合の留意点 C# では…

C# だけで Azure OpenAI の RAG を試してみたい (1)検討したシステム構成と処理フロー

はじめに カスタマイズ方針 検討したシステム構成と処理フロー 注意 ソースコードと各プロジェクトの解説 はじめに 最近 Azure OpenAI の RAG について色々調べていますが、サンプルアプリは Python が多いです。 自分は C# が大好きなので、C# でやってみた…