自動化無しに生活無し

FastAPIとNext.jsの経験がない中で、チュートリアル的な意味で作った。 【フェーズ1】FastAPIでStreamResponseをするローカルLLM(Ollama) 構成は以下の通り . ├── main.py ├── routers │ └── chat.py ├── crud.py ├── models.py ├── schemas.py ├── database.py ├── chat.db └── requirements.txt 全体像はこうなる。 以下、ファイルごとの役割 ファイル・フォルダ 役割 main.py サーバー起動用 routers エンドポイントフォルダ chat.py チャットGPT風アプリのエン ...

前提 GPU: RTX A2000 12GB LLM: Ollama(Gemma-7B 4bit量子化仕様) RAG: Qdrant 上記環境下で、指定のディレクトリ内のテキストファイルをすべて読み込み、RAGを実現させる。 qdrantの立ち上げとOllama と Gemma 7B のインストール Gemma 7Bのインストール。 ollama pull gemma:7b すでにOllamaでは4bit量子化仕様を配布しているので、あえて指定をする必要はない。上記コマンドで4bit量子化仕様が手に入る。 続いてqdrantはdockerで起動させる #! /bin/bash docker run -d ...

すでにollamaとgemma:2bをインストール済みとする。 参照: UbuntuにローカルLLMをインストールし、Python上で動作させる(Ollama) RAGの実装とソースコード pip install faiss-cpu sentence-transformers numpy import faiss import numpy as np from sentence_transformers import SentenceTransformer import subprocess # ========================= # 1. ドキュメント準備 # ========================= documents = [ "RAGとは、検索と生成を組み合わせたAI手法です。", "FAISSはベクトル検索ライブラリです。", "Oll ...