ChatRTX Ver0.3 (旧：Chat With RTX)でローカルLLM(大規模言語モデル)Nvidia製GPU：RTX4060Ti(16GB)で実行する

Chat RTX(旧：Chat With RTX)でローカルLLM(大規模言語モデル)を実行する

今回のChat RTXの実行環境は以下の通りです。

CPU：i9-13900K(渦中の奴)
メモリ(RAM)：64GB
GPU：RTX4060Ti(16GB)＆RTX A2000(6GB)
HDD/SSD：SynologyからiSCSI OS Boot
(ロールバックを簡単に行うため)
Chat RTXの保存/実行はNvme(Adata Falcon 512GB)

1.ChatRTXの取得先について

ChatRTXの取得については2024年5月10日現在、Nvidiaの公式ページでは、
旧Chat With RTXのページしか用意されておらず、英語版のページからファイルを取得する必要があります。

ダウンロードファイルについても、
Ver0.3よりインストール後に使いたいモデルをダウンロードする方法になり、
Ver0.2(旧：Chat With RTX)より
13GB近くの初期ダウンロードファイルが少なくなっています。

また、英語版のChat RTXのページ下部にある
Chat for DevelopersのGit Hubへのリンクに関してですが、
こちらのリンク上のGit Hub上にあるTRT-LLMは
v0.5およびv0.7.1と古い情報となっています。
Chat RTXで実行されるTRT-LLM(TensorRT-LLM for Windows)はVer0.9となり、
自分でモデルを追加したい等でなければ、あまり参考にならないかと思います。

下記の画像中心部分あたりで、config.jsonのロード後にTensorRT-LLMがVer0.9.0で実行されているのがわかります。

また、インストール中に、ChatRTX側で｢Mistral 7B int4｣等のビルドをするらしく、もりもりメモリを持っていかれます。
VRAM・RAMともに16GB以上ないときつい状況だと思います。

また、起動すると以下のような画面になって、メモリをもりもり消費しながらChatRTXが起動してきます。
内部的にはPython3+minicondaで動いているようで、インストール時にPythonとminicondaの文字が確認できます。

起動が終了すると以下のような画面になりますが、
ここで筆者のようにRTX4060Ti16GB+RTX A2000 6GB(パソコン工房特売のやつ)等
GPUを複数枚マザボに差している場合、
GPU0のGPU から使おうとするためなのか、いろいろ触れなくなりましたのでご注意を。
(RTX4060Ti 16GB単独にしたらきちんと動きました。)

こちらがGPU を複数枚さしていろいろ触れなくなっている状態
(モデルの追加等も出来ないので、RTX4060Ti 16GB　1枚に差しなおした)

きちんとインストールができていれば(一応)Mistral 7B int4が基本的に初期値で立ち上がってきます。
上記の色々差している状態でモデルが選べない状態でもMistral 7B int4での質問が可能ですが、
日本語の性能はやはりいまいちとなります。

そこで、Googleが公開しているGemini をインストールします。
インストールはモデル選択のところからインストールでき、Gemma 7Bをインストールしていきます。

以下がGemma 7Bを使用した日本語での質疑応答例になります。
やはり、このレベルになっても、日本語は少し苦手のようでところどころ怪しいです。

しかし、何もしなくてもこのレベルまで使えるのはすごいと思いますし、ほかの方がやっているように
「ELYZA-japanese-Llama-2-70b」等を使用すれば、もっと滑らかな日本語を理解できるようになると思われます。
しかし、Chat RTXの大きな欠点として、前後の会話文を覚えていられない（DBに会話を保存していない）ということがあげられます。

そのため、前後の文法を理解してほしい場合等はChatGPTやGemini等を使う必要がありますが、
個人で使うのであれば楽しめるレベルかと思います。

ここまでつまらない技術記事を読んでいただき、ありがとうございます！
心ばかりのクーポンをご用意しましたので、ご購入していただけると泣いて喜びます！
ショップ内の全商品が3%OFFのクーポンになります！　ぜひご利用いただければと思います。

以下のコードを商品購入時に
クーポンコード欄に入れていただくことで割引されます。

ChatRTX_LLM

ご覧いただきありがとうございました！

2024-08-22 23:16

コメント (0) ｜

ショップサーブAPI(旧：Eストア)をCurlを使って在庫情報を取得する

ショップサーブAPIをCurlで各種在庫情報を取得する！

時短のために、ショップサーブAPIを叩いて楽したい！！！

こんにちは、薬師真珠のネット通販担当者です。

在庫管理のために、いちいちショップサーブの在庫を
管理ページを開いて確認するのがめんどくさくなったので、APIを叩く方法を模索したところ、
公式APIがありましたので、忘備録として少し残しておきます。
なお、今回はWindowsPowerShellだとCurlを使用した場合、
受け入れる位置指定パラメータが見つからないと怒られたので、
今回のコマンドはすべてUbuntu20.04上で実行したコマンドになります。
おそらく、Linux系列であれば今回のコマンドは実行できるものと思われます。

また、公式のAPIはPyrhonでHTTP Requestを行った場合、以下のようなエラーが現時点で発生します。

※2024年4月24日にGoogle Colabで再現確認しています。

SSLError: HTTPSConnectionPool(host='management.api.shopserve.jp', port=443):
Max retries exceeded with url: /v2/items/_search (Caused by SSLError(SSLError(1, '[SSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED]
unsafe legacy renegotiation disabled (_ssl.c:1007)')))

このエラーは2024年4月24日現在、CVE-2009-3555の対策のために、
Legacy Unsafe Renegotiationが無効になっていることに起因しています。
何とかしようと思えば、セキュリティを下げることによって可能ですが、
セキュリティリスクが増大するために、ショップサーブ側のサーバー対策待ちとなります。

CVE-2009-3555についてはこちら

本題のショップサーブAPIを使用した商品在庫情報の取得に関してですが、
ショップサーブのAPIキーを発行後、Ubuntu側で以下のようなコマンドを実行します。

ショップサーブAPIについてはこちら

ショップサーブ側のAPIリファレンスは初心者には少し読みずらいと思いますが、
読み解きながら説明していきます。

curl -X POST https:// ショップサーブのユーザー名:ショップサーブのAPIキー(マネジャー認証キー)@management.api.shopserve.jp/v2/items/_search -H "Content-Type: application/json" -d '{"from":0, "sort": {"type":"StockQuantity"},"filters":[{"item_code":"10","range_of_item_price":{"min":5000,"max":10000}}]}'

上記のコマンドをLinuxで実行すると、商品取得開始位置が0
在庫数順に並び変えを行う・商品番号に10を含む・金額が￥5,000円～10,000円
となる商品が抽出されます。

これは、"from":0 が商品取得開始位置が0
"sort": {"type":"StockQuantity"} が在庫数順に並び変えを行う
"filters": が商品のフィルタを行う
"item_code":"10" が商品番号に｢10｣を含む
"range_of_item_price":{"min":5000,"max":10000] が
商品の最低値段がが5,000以上かつ最高額が10,000まで
という条件検索となります。

上記の条件で検索すると件数が多くなり、塗りつぶしがめんどくさいため、
参考程度に高額商品を絞り込んだCurlコマンドの実行結果を載せておきます。

下記のコマンドは70,000以上10,000円以下の商品の有無と在庫数確認

※店舗情報があるため、一部塗りつぶしています。

上記の2連グラデーションネックレスはこちら

上記のように、コマンドを実行することで、
いちいち在庫管理ページを開かなくても、
商品絞り込みや在庫数の確認ができるようになりました！
なお、そこそこめんどくさくて躓いた(特に認証関連)ので
ほぼ自分用ですが残しておきます。
また、API仕様書を見るともう少し踏み込んだことも可能ですので、
頑張ってください。

今回参考にしたサイト
ショップサーブAPI公式リファレンス(要ダウンロード)
Deepl　翻訳
 Google Colab
Google 翻訳
 Hatena Blog curlを使うときのデータの渡し方 @swfz
Qitta curl コマンド使い方メモ @yasuhiroki A10 Lab Inc.
知的好奇心 Pythonでcurlコマンドと同等の処理を実行する方法
 JniimiLab エラーSSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED
への対応
 Stackoverflow SSL error unsafe legacy renegotiation disabled
Convert curl commands to Python, JavaScript and more
※CurlコマンドPython形式などへ変換してくれるサイト
上記のサイトはCurlコマンドが間違っているとエラーで出るため、
確認のために使用

2024-04-25 14:13

コメント (0) ｜

Synology Container Manager(旧：Docker Hub)上に永続化フォルダを作成し、Grafanaを実行する{ -v コマンドの解説}

Synology Container Manager(Docker Hub)上に
永続化フォルダを作成して、Grafanaを実行する

前回の更新から少し時間が経ちましたが、お久しぶりです。
薬師真珠のネット通販担当です。
最近は社内催事・社内サーバ・各種社内機材の更新等でまっったく、
新商品が追加できていませんでした。　申し訳ありません・・・・🥺

さて、今回のテーマは、

「GrafanaをSynology上で動かそう！」

です！

0.初めに

永続化フォルダの作成
フォルダに権限なしで起動した場合
フォルダへ権限をつける
起動
Grafanaへのアクセス

0.初めに

Q.なんで作ったの？

A.自分がやろうとして超絶各種設定で沼ったから
あと、たまにHTML・CSS触っとかないと忘れるから
(本文内ほぼHTML・CSS手打ち)

※padding(内側余白)とline-height(行間)を併用する場合＜p＞タグで囲まないと併用できなかった

注意事項

Synology DS1621+ DSM 7.2.1-69057 Update 4上で
Grafanaのプログラムを実行しています。
Synology Container Managerのインストール等は割愛します。
また、少し間違えるとNASのデータを吹っ飛ばす可能性や
セキュリティホールになる可能性があります。
入力するコマンドをよく理解した上で実行してください。
使用したGrafanaのイメージは"grafana/grafana"です

1.永続化フォルダの作成

SynologyのFile StationでDockerのファイルをなければ作成する。
また、目的のDokcerで使用するフォルダの作成を行う(今回はgrafana-2を使用)

今回使用するフォルダは下記画像のgrafana-2を使用していきます。

今回Grafanaで使用するフォルダ

ただし、そのままの状態でもGrafanaは起動しますが、
今回は永続化フォルダを作成し、
永続化フォルダ上に展開することを目標とします。

Grafanaの詳細設定

上記の構築設定のボリューム設定が
Dockerの"-v"オプション（volumeオプション）になります。

ただし、何も追加設定をせずに、この状態でコンテナを起動しようとすると、
Synology上で下記のようなエラーを出して、コンテナが強制停止します。

Grafanaの強制終了エラー

下記は、強制停止したコンテナのエラーログですが、
こちらのエラーログを見ると、
Synology上の"Docker/Grafana-2"のフォルダに権限がないので
強制停止していることがログからわかります。

Grafanaの起動エラーログ

このエラーを回避するためには、
該当するフォルダに読み書き権限を与える必要があります。
そのため、以下の画像のようにフォルダの詳細設定より、
Everyoneに対して、読み書きの権限をつけてあげると動くようになります。

永続化フォルダで使用するフォルダ権限に関して

永続化フォルダで使用するフォルダ権限に関して2

上記のようにフォルダに読み書き権限をつけて再度コンテナを実行すると、
"Docker/Grafana-2"のフォルダ上にいろいろ展開されているのを確認できます。

コンテナ起動中のフォルダ内の様子

コンテナ起動中のファイル展開ログ

ここまで来たら、あとはコンテナの起動を待つだけなのですが、
ほかのコンテナ（Prometheusやsnmp-explorer）と違い、
初回の起動には結構時間がかかりました（およそ5分ほど）
これに関してはログを確認するとよくわかるのですが、
大量のファイルを展開する必要があるためだと思われます。
（下記の画像参考）
実際に起動しないなぁ・・・と思ってなんども確認した結果、
初回のファイル展開中でした（3敗）

およそ5分後にGrafanaが立ち上がりますので、
先ほど指定したポートにアクセス（今回は：3010）すると
Grafanaの初回ログインページが立ち上がります。

Grafana初回ログインページ

Dockerよりインストールした場合はユーザー名とパスワードは初期設定では以下の通りとなっています。
ユーザー名：admin
パスワード：admin

Grafana初回ログイン入力

では！Grafanaを頑張って使っていきましょう!

私はまだうまく扱えません！

2025-03-18 11:38

コメント (0) ｜

X(旧：twitter･ツイッター)への自動画像投稿について

皆さま初めまして。
ここ数年薬師真珠のネット通販を担当している担当者です。

通販やホームページ管理の中の人が私に変わって
ここ数年店長ページはまっっったく更新してしてなったのですが、
いくつか書きたいネタが出来、本業のほうで書くのもあれなのでこちらで書いていこうと思います。

さて、現在薬師真珠の𝕏(旧：twitter)はBOTが動いており、30分～1時間程度で
ランダムな画像と決め打ちした文字を自動的につぶやいております。
入社した最初、𝕏(旧：twitter･ツイッター)のアカウントを作成したのですが、定期的に投稿することがめんどｋ・・・大変だったので、
PythonとGoogleColabを使用して自動化出来たらいいやと考えて自動化しました。
なお、実際にはexe化しており、VM上で24/365で稼働しています。

また、こちらを作成するにあたり、GoogleColabで動くサンプルプログラムを作成しましたので、公開します。
GoogleDriveのimgフォルダ内に画像を入れておけば、自動投稿してくれるプログラムになります。

また、このプログラムを使用することにおける不具合や不都合については一切の責任を負いません。
担当者が好き勝手にプログラムを書いているだけです。

また、APIキーやアクセストークン等は今回は理解されているも物として記述しています。

1行目
※最初に必要なプログラム群をColabにインストール

 
pip install requests_oauthlib tweepy

2行目
※投稿プログラム本体

 

import tweepy
import glob
import random
from requests_oauthlib import OAuth1Session

#ツイッタランド認証部分
consumer_key = 'あなたのAPIキー'
consumer_secret = 'あなたのAPIシークレット'
access_token = 'あなたのアクセストークン'
access_token_secret = 'あなたのアクセスシークレット'

# 画像投稿用(※旧APIで画像投稿を行います TwitterAPI Ver1.1)
auth = tweepy. OAuthHandler ( consumer_key, consumer_secret)
auth. set_access_token(access_token, access_token_secret)

# 旧APIで投稿するための設定2
api = tweepy.API (auth)

#API V2で投稿するための設定
client = tweepy.Client(
    consumer_key = consumer_key,
    consumer_secret = consumer_secret,
    access_token = access_token,
    access_token_secret = access_token_secret
)

#画像準備 ランダム画像決定部分
file_path = '/content/drive/MyDrive/img'
filesr = glob.glob("/content/drive/MyDrive/img/*")
data=random.choice(filesr)
print(data)

# 以下、ツイート本体

#詳細な投稿用画像ファイルパス
image_path = data

# 投稿用メッセージ
media = api. media_upload (filename=image_path)
client. create_tweet (text=('ここにメッセージをいれると投稿できます。なお、改行はnです。'), media_ids= [media.media_id])

print("投稿終了!")

実行結果

薬師真珠です。
Twitterにて製品画像などを少しずつ公開していきます。
商品のご購入はこちらから！⇒ https://t.co/3o0GQHbIVk
通販サイトの商品拡充も頑張ります!
次回の投稿もおたのしみに！ #真珠 #アクセサリー #カジュアル #商品写真 #ネックレス #pearl #イヤリング #ピアス pic.twitter.com/QnrC0sHKBI
— 薬師真珠【Blue Clasp】真珠の卸・小売り (@YakushiPearl) December 31, 2023