自動化無しに生活無し

WEB開発関係を中心に備忘録をまとめています

RAG

  • RAG用の手動チャンクUIのたたき台をJavaScriptで作ってみた
    RAG開発時、チャンクを自動的に行っているようではセマンティックな埋め込みベクトル検索などは厳しい。 そこで、チャンクサイズを手動で設定できる余地を作る。 今回はそのたたき台となるJSとHTMLを用意した。 HTML <!DOCTYPE html> <html lang="ja"> <head> <meta charset="UTF-8"> <title>Chunk Editor Sample</title> <style> body{ font-family:sans-serif; margin:30px; } #editor{ border:1px solid #999; padding:15px; min-height:180px; white-space:pre-wrap; user-select:text; } </style> </head> <body> <h2>チャンクエディタ試作</h2> <div id="editor"> 今日は良い天気です。 明日は雨です。 明後日は晴れです。 </div> <br> <button id=" ...
    続きを読む

  • RTX A2000 12GBでOllama(Gemma7B:4bit量子化仕様)+QdrantでテキストファイルのRAGを実現
    前提 GPU: RTX A2000 12GB LLM: Ollama(Gemma-7B 4bit量子化仕様) RAG: Qdrant 上記環境下で、指定のディレクトリ内のテキストファイルをすべて読み込み、RAGを実現させる。 qdrantの立ち上げとOllama と Gemma 7B のインストール Gemma 7Bのインストール。 ollama pull gemma:7b すでにOllamaでは4bit量子化仕様を配布しているので、あえて指定をする必要はない。上記コマンドで4bit量子化仕様が手に入る。 続いてqdrantはdockerで起動させる #! /bin/bash docker run -d ...
    続きを読む

  • OllamaでRAGを実現する。
    すでにollamaとgemma:2bをインストール済みとする。 参照: UbuntuにローカルLLMをインストールし、Python上で動作させる(Ollama) RAGの実装とソースコード pip install faiss-cpu sentence-transformers numpy import faiss import numpy as np from sentence_transformers import SentenceTransformer import subprocess # ========================= # 1. ドキュメント準備 # ========================= documents = [ "RAGとは、検索と生成を組み合わせたAI手法です。", "FAISSはベクトル検索ライブラリです。", &quo ...
    続きを読む