DeepSeek(日本語対応)をraspberry pi5ローカルで動かしてみる

未分類

今話題の中国製ai DeepSeek(日本語対応)をraspberry pi5をローカルにインストールして動かしてみた。

raspberry pi スペック

  • raspberry pi5 8GB
  • 256GB microCDカード
  • Debian GNU/Linux 12 (bookworm)

ちなみにRaspberry Pi AI HAT+(13TOPS版)を装着しているが、対応していないようなので、実質ヒートシンクとして利用

DeepSeek スペック

日本語版のDeepSeekを探したところ、サイバーエージェントが「DeepSeek-R1」の蒸留モデルに日本語データによる追加学習を行ったLLM「DeepSeek-R1-Distill-Qwen-14B/32B-Japanese」を公開していたのでそれを使用した。

cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

このサイトにある通りに14B版をインストール。コマンドは以下の通り。

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install git-lfs
git clone https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese
pip install transformers[torch]

インストールに2時間ほどかかった。70GBほど使用する。

そしてusageにある通り、以下をpyファイルとして作成する(名前はdeepseek.pyとした)
※DeepSeek-R1-Distill-Qwen-32B-Japaneseへのパスは書き換えてください。

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model = AutoModelForCausalLM.from_pretrained("cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

messages = [
    {"role": "user", "content": "AIによって私たちの暮らしはどのように変わりますか?"}
]

input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids,
                            max_new_tokens=4096,
                            temperature=0.7,
                            streamer=streamer)

そして以下のコマンドで実行してみた。

python deepseek.py

そして待つことおよそ5日。以下が結果。

Loading checkpoint shards: 100%|??????????????????| 6/6 [00:00<00:00, 10.31it/s]
Some parameters are on the meta device because they were offloaded to the cpu and disk.
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151643 for open-end generation.
The attention mask is not set and cannot be inferred from input because pad token is same as eos token. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
<think>
さて、AIが私たちの暮らしに与える影響について考えてみよう。まず、日常のタスクがどう変わるか。例えば、家事ロボットやスマート家電が普及すれば、手作業の負担が減るかもしれない。でも、それだけじゃなくて、健康管理や医療でもAIが役立つよね。個人の健康データを分析して、病気の早期発見や予防策を提案するようなアプリがあると聞いたことがある。

次に、仕事の分野はどうだろう。自動化が進むと、単純作業の仕事はAIに取って代わられる可能性がある。でも、逆にAIを活用する新しい職種も生まれるかもしれない。データ分析やAIの開発、メンテナンスに関わる仕事は需要が増えるかも。でも、技術の差が拡大するかもしれないし、教育のあり方も変わってくるだろうね。

社会全体の変化も考えないと。AIを活用した交通システムで渋滞を解消したり、持続可能な都市の建設が進むかもしれない。でも、デジタルデバイドやプライバシーの問題も気になる。AIが普及すれば、データの収集や利用が増えるので、個人情報の保護が重要になる。また、AIの判断に偏りがある場合、公平性や倫理的な問題も起きるかもしれない。

文化やコミュニケーションの変化も考えたい。AI生成のコンテンツが増えれば、創作活動が変わり、新しい芸術の形が生まれるかも。でも、オリジナルとAI生成の区別が曖昧になるリスクもある。SNSやコミュニケーションツールもAIが手助けするようになるけど、人間の感情表現がどう影響されるかは気になるところだ。

教育の面では、AIを活用した学習プラットフォームが個々の学習スタイルに合わせたカリキュラムを提供できるかもしれない。でも、教師の役割が変わることで、教育現場の在り方も大きく変わる可能性がある。また、AIの学習機会が広がれば、生涯学習がさらに重要になるだろう。

倫理や法的な課題も無視できない。AIの責任問題、例えば自動運車が事故を起こした場合の責任はどこにあるのか。また、AIによる監視や制限が社会の自由を侵す可能性もある。規制やガイドラインの整備が急務だと思う。

まとめると、AIは便利さをもたらす一方で、社会や個人に多様な影響を及ぼす。その変化をどう受け入れ、メリットを最大化し、デメリットを最小限に抑えるための対策が重要だ。技術の進歩を止めるわけにはいかないから、バランスを取ることが必要だよね。
</think>

AIが私たちの暮らしに与える影響は多岐にわたり、以下のように整理できます。

### **1. 日常生活の変革**
- **家事・健康管理の効率化**  
  スマート家電やAIロボットが日常業務を支援。健康データの分析(例:AIが睡眠パターンを解析し、改善提案)が医療的介入を促進。
- **移動手段の革新**  
  自動運転車が交通事故を減らし、公共交通の最適化で渋滞解消。都市計画にもAIが活用され、持続可能な街づくりが加速。

### **2. 職業構造の転換**
- **自動化による職種の変容**  
  データ分析職やAI開発者需要の急増。逆に単純労働の減少で、職業訓練の再編が迫られる。
- **教育のパラダイムシフト**  
  AIを活用した個別最適化教育が普及。教師は「指導」から「コーチ」へ、生徒は自主学習力を養う。

### **3. 社会システムの再構築**
- **経済のAI化**  
  ブロックチェーンと組み合わせたスマートコントラクトで取引効率化。AIによる需要予測が物流を革命化。
- **デジタルデバイドの拡大/縮小**  
  AIアクセスの格差が新たな社会問題として浮上。逆に教育機会の均等化が進む可能性も。

### **4. 文化・倫理の課題**
- **コンテンツの創造性**  
  AI生成アートが美術館に展示される一方、著作権問題や「人工知能の創造性」の法的定義が議論。
- **倫理的ジレンマ**  
  自動判断AIのバイアス(例:AI採用システムが人種偏見を反映)に対する監視メカニズムの必要性。

### **5. 統治と民主主義**
- **AIガバナンス**  
  国連がAI規約を制定する動き。透明性確保と技術独占防止のバランスが国際的な争点に。
- **民主主義の変容**  
  意見形成プロセスがAI分析に依存し、フィルターバブルが深化するリスク。議論の多様性維持が課題。

### **6. 戦争と平和の転換**
- **AI戦争の時代**  
  サイバー攻撃や自律型兵器の開発が進む中、国際法の更新が急務。AI倫理委員会の設立が提唱される。
- **人道支援の再定義**  
  災害時AI救援ロボットが従業員を置換。被災者への心理ケアもAIが担う未来が。

### **結論:進化するバランス**
AIは単なるツールではなく、社会構造の再設計者となる。その影響を最大化するには、**「技術」「制度」「倫理」の3層的な対応**が不可欠です。例えば、欧州のAI権利宣言や米国NISTのガイドラインのような国際的な枠組みが求められ、企業はAIアドバイザリー委員会を設置する動きが加速しています。最終的には、AIが「人間の拡張」として機能するか、「人間の代替」として進むかが、この世紀の分岐点と言えるでしょう。

まず、途中で暴走などせずに動き続け、これだけの文章を作成し続けたことに驚いた。ほかの方のレビューでは熱暴走で止まったことなど報告されているが、Raspberry Pi AI HAT+(13TOPS版)のヒートシンクがうまいこと放熱してくれたのかもしれない。ただし、時間が猛烈にかかってしまうので、もう少しコンパクトなサイズのものでいろいろ試したいと思う。

コメント

タイトルとURLをコピーしました