misterli's Blog.

AMD 锐龙8745H/8845H 使用ollama和LM Studio 运行QWB:32b

字数统计: 2.5k阅读时长: 10 min
2025/03/08

蹭一波通义千问QwQ-32B‌的热度。前几天阿里巴巴正式发布并开源全新推理模型‌通义千问QwQ-32B‌,主打“高性能+低门槛”特性。该模型基于320亿参数规模,在数学推理、代码生成及通用任务中表现亮眼,综合性能对标DeepSeek-R1(6710亿参数,激活量370亿),还是使用我的AMD 锐龙8745H 小主机,ollma上用起来比较简单,LM Studio上需要改一下设置。

ollama

我的机器上 ollama 测试下来 BIOS中核显分配 2g 内存可以运行qwb:32b (Q4_K_M) ,

image-20250306145939778

启动后可以看到内存使用 28.4/29.8GB

image-20250306150223579

推出使用ollama ps 查看一下情况

1
2
3
C:\Users\ls> ollama ps
NAME ID SIZE PROCESSOR UNTIL
qwq:latest cc1091b0e276 22 GB 38%/62% CPU/GPU 4 minutes from now

使用过程中cpu/gpu占用

image-20250306151341412

用起来速度 2.4 token/s ,是有点慢

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
PS C:\Users\ls> ollama run  --verbose qwq
>>> 请解释一下李白的静夜思
<think>

好的,用户让我解释李白的《静夜思》。首先,我需要回忆这首诗的内容和背景。这首诗是李白的经典之作,四句五言绝句。接下来
我要分析每一句的意思,然后联系整体主题。

先看题目“静夜思”,说明这是夜晚安静时的思考或思念。可能表达的是乡愁或者孤独感。第一句“床前明月光”中的“床”可能不
是现代的床,而是古代的一种坐具或者井栏?这点可能需要确认,但通常解释为窗前或床边。第二句“疑是地上霜”,把月光比作白
霜,表现出月光明亮和寒冷的感觉。第三四句“举头望明月,低头思故乡”直接点出动作和情感的变化。

接下来要考虑用户的背景,可能是学生需要作业帮助,或者对古诗感兴趣的人。用户的需求不仅仅是字面解释,可能希望了解诗中的
意象、情感以及李白的创作背景。有没有深层含义?比如,简练的语言如何传达深刻的情感?

还要注意常见的误解,比如“床”的不同解释是否会影响理解?虽然通常翻译为床,但如果是井栏的话,场景会不同。不过主流还是
以窗前或床上的角度来解读。

另外,这首诗的结构对仗工整,押韵,符合五言绝句的特点。可能需要提到这些艺术手法如何增强情感表达。比如“明月光”和“地
上霜”的视觉对比,以及抬头低头的动作对比,形成情感的起伏。

还要考虑李白当时的心情,他漂泊的经历是否影响了这首诗的主题?作为浪漫主义诗人,他的作品常有自然意象,这里用月亮来寄托
乡愁很典型。可能需要联系其他作品或时代背景?

最后总结时要强调诗的情感核心——思乡之情,并指出其简洁而深刻的影响,成为千古名篇的原因。

检查有没有遗漏的点,比如字词解释是否准确,结构分析是否到位,情感表达是否清晰。确保回答全面但不过于复杂,适合不同层次
的读者理解。
</think>

李白的《静夜思》是唐代诗人李白创作的一首五言绝句,堪称中国诗歌史上最著名的短诗之一。这首诗以简洁的语言、生动的意象和
深沉的情感,表达了游子在寂静夜晚对故乡的深切思念。

---

### **原诗**
**床前明月光,
疑是地上霜。
举头望明月,
低头思故乡。**

---

### **逐句解析**
1. **“床前明月光”**
- **意象**:诗人独坐床边(或窗前),月光照进房间,洒在地面。
- **意境**:“明月光”营造出清冷、静谧的夜晚氛围,暗示诗人的孤独处境。

2. **“疑是地上霜”**
- **比喻与联想**:诗人将地上的月光比作秋日的寒霜,既呼应了月光的皎洁明亮(如同霜雪般白),又暗含季节的寒冷和内心
的孤寂。
- **情感铺垫**:“疑是”的不确定感,暗示诗人被突如其来的乡愁所触动。

3. **“举头望明月”**
- **动作描写**:抬头仰望天上的明月,表现出对远方故乡的追寻与凝视。
- **象征意义**:月亮在中国文化中常是团圆、思乡的象征,诗人借月抒怀,将思念投射到浩瀚夜空。

4. **“低头思故乡”**
- **情感爆发点**:从仰望明月转为低头沉思,动作的转折直接引出内心对故乡的深切怀念。
- **简洁而深刻**:仅以七个字便道尽了游子漂泊天涯、归乡无期的情感。

---

### **诗的核心主题**
- **思乡之情**:全诗围绕“思乡”展开,通过月光与霜色的意象对比,强化了时空的隔阂感。
- **孤独与漂泊**:诗人身处异乡,在寂静的夜晚被自然景象触发情感,凸显了游子的孤寂心境。

---

### **艺术特色**
1. **白描手法**:语言朴素无华却极具画面感,四句诗构成一幅完整的“望月思乡图”。
2. **动静结合**:明月、霜地为静景,诗人“举头”与“低头”的动作形成动态对比,情感随之起伏。
3. **意象深远**:“月亮”作为贯穿全诗的核心意象,成为千百年来中国人思念家乡的永恒符号。

---

### **争议与考据**
- **“床”的含义**:学界对“床前”的“床”有不同的解释:
- 可能指古代的卧具(如木榻);
- 或认为是井栏(因古时“床”有井边围栏之意,李白家乡蜀地多用此解)。
不同解读并不影响诗意,但若为“井栏”,则场景可能在户外庭院,月光洒满整个空间。

---

### **文化影响**
- 这首诗是中华文化中最具代表性的思乡之作,被翻译成多种语言,在全球广为流传。
- 其简练的结构和深刻的情感使其成为儿童学习古诗的经典入门篇目,也常被引用在文学、影视作品中。

---

### **总结**
《静夜思》以极简的语言捕捉了人类共通的情感——对故乡的眷恋。它通过月光、霜色等自然意象,将孤独与思念浓缩在刹那间的举
头低头之间,成为跨越时空的经典之作。李白用最朴素的文字道出了游子内心最深处的乡愁,这也是这首诗历经千年仍能打动人心的
根本原因。

total duration: 8m46.5800908s
load duration: 19.9366ms
prompt eval count: 16 token(s)
prompt eval duration: 1.207s
prompt eval rate: 13.26 tokens/s
eval count: 1261 token(s)
eval duration: 8m45.351s
eval rate: 2.40 tokens/s

LM Studio

这里使用了两个模型分别是 qwq-32b-q4_k_m和qwq-32b-q2_k的

image-20250307235408088

使用qwq-32b@q2_k

默认大概率会出现这个报错发送消息失败 Error rendering prompt with jinja template: Error: Parser Error: Expected closing statement token. OpenSquareBracket !== CloseStatement

image-20250307235751401

这个时候需要转到������我的模型并单击 QwQ-32B 模型旁边的⚙️,编辑“jinja”提示模板如下

1
2
{%- if tools %} {{- '<|im_start|>system\n' }} {%- if messages[0]['role'] == 'system' %} {{- messages[0]['content'] }} {%- else %} {{- '' }} {%- endif %} {{- "\n\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }} {%- for tool in tools %} {{- "\n" }} {{- tool | tojson }} {%- endfor %} {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }} {%- else %} {%- if messages[0]['role'] == 'system' %} {{- '<|im_start|>system\n' + messages[0]['content'] + '<|im_end|>\n' }} {%- endif %} {%- endif %} {%- for message in messages %} {%- if (message.role == "user") or (message.role == "system" and not loop.first) %} {{- '<|im_start|>' + message.role + '\n' + message.content + '<|im_end|>' + '\n' }} {%- elif message.role == "assistant" and not message.tool_calls %} {%- set content = (message.content.split('</think>')|last).lstrip('\n') %} {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }} {%- elif message.role == "assistant" %} {%- set content = (message.content.split('</think>')|last).lstrip('\n') %} {{- '<|im_start|>' + message.role }} {%- if message.content %} {{- '\n' + content }} {%- endif %} {%- for tool_call in message.tool_calls %} {%- if tool_call.function is defined %} {%- set tool_call = tool_call.function %} {%- endif %} {{- '\n<tool_call>\n{"name": "' }} {{- tool_call.name }} {{- '", "arguments": ' }} {{- tool_call.arguments | tojson }} {{- '}\n</tool_call>' }} {%- endfor %} {{- '<|im_end|>\n' }} {%- elif message.role == "tool" %} {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != "tool") %} {{- '<|im_start|>user' }} {%- endif %} {{- '\n<tool_response>\n' }} {{- message.content }} {{- '\n</tool_response>' }} {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %} {{- '<|im_end|>\n' }} {%- endif %} {%- endif %} {%- endfor %} {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n' }} {%- endif %}

image-20250307235935579

image-20250308000027006

执行速度如下,快的时候能跑5.4 token/s , 马马虎虎吧,反正也只是个人玩具

image-20250307234651720

使用qwq-32b@q4_k_m

qwq-32b@q4_k_m运行起来就慢了很多,只能跑到2.64 token/s ,注意也要修改jinjia模板

image-20250308001738568

CATALOG
  1. 1. ollama
  2. 2. LM Studio
    1. 2.1. 使用qwq-32b@q2_k
    2. 2.2. 使用qwq-32b@q4_k_m