自動化無しに生活無し

俯瞰 自然言語処理の入力仕様 Transformer よりも前のモデルには、単語間の関連を理解するための入力仕様が用意されている。 Tokenizerで数値化し、その数値を使いEmbeddingで特徴量のリストを作っている。 Transformerには、Embedding層が用意されている。 Tokenizer Tokenizerは入力値を単語に分けてIDを振る 入力値: "I love AI" ↓ 単語に分ける: ["I","love","AI"] ↓ IDを振る: [ 5, 101, 61 ] このTokenizerにより、 ...

Djangoの独自コマンドの作成とAIを組み合わせることで、ウェブアプリ上でAIの恩恵を受けることができる。 とりわけ自然言語処理関係であれば、日本語の知識さえあれば簡単に試すことができるだろう。 本記事では形態素解析ツールとして名高い京都大学のJUMANをDjango上で動かし、その結果をウェブページとして表示させる。 作り方 モデルを作る トピックモデルとトレンドモデルの2つを作る。 from django.db import models from django.utils import timezone class Topic(models.Model): ...