AkaDakoはScratchの拡張機能の組み合わせにより各種AIと連携する事が出来ます。
活用例
■見分ける（機械学習（Machine Learning）：画像認識）
■聞き取る（深層学習（Deep learning）：音声認識）
■カメラ画像を説明する（大規模言語モデル(LLM)：マルチモーダル生成AI）
【視覚障害者支援】
生成AI Google Gemini のマルチモーダル機能を使って、視覚障害者向けにカメラに写っている画像を音声合成で説明させる活用例です。くわしくはこちら。
この手法は応用範囲が広く、プロンプトの書き方次第で、生成AIの答えにあわせて、アクチュエータ等の制御も可能となります。（例：プロンプト「この写真に階段が写っていますか？数字1文字（はい=1、いいえ=0）で答えてください。」の回答を元に1の時に振動モータを動かす）
AkaDakoで使えるAI系Scratch拡張機能
- 本家：https://scratch.mit.edu/
- Stretch3：https://stretch3.github.io/
- Xcratch：https://xcratch.github.io/editor/
■ML2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- Xcratch：拡張機能にある「拡張機能を読み込む」で「https://champierre.github.io/ml2scratch/ml2scratch.mjs 」を貼り付け
- ドキュメント：https://github.com/champierre/ml2scratch
■TM2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- ドキュメント：https://github.com/champierre/tm2scratch/blob/master/README.ja.md
■Speech2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- Xcratch：拡張機能にある「拡張機能を読み込む」で「https://champierre.github.io/speech2scratch/speech2scratch.mjs 」を貼り付け
- ドキュメント：https://github.com/champierre/speech2scratch
■Posenet2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- Xcratch：拡張機能にある「拡張機能を読み込む」で「https://champierre.github.io/posenet2scratch/posenet2scratch.mjs 」を貼り付け
- ドキュメント：https://github.com/champierre/posenet2scratch
■TMPose2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- ドキュメント：https://github.com/champierre/tmpose2scratch
■ChatGPT2Scratch
- 利用方法
- Stretch3：拡張機能に含まれています
- ドキュメント：https://github.com/ichiroc/chatgpt2scratch/blob/main/README.ja.md
■GAI
- 利用方法
- Xcratch：拡張機能にある「拡張機能を読み込む」で「https://yokobond.github.io/xcx-gai/dist/gai.mjs 」を貼り付け
- ドキュメント：https://yokobond.github.io/xcx-gai/docs/ja/#/