MolyKit 技能
使用 MolyKit 在 Makepad 中建構 AI 聊天介面的最佳實踐 - 這是一個用於跨平台 AI 聊天應用程式的工具組。
原始碼目錄:/Users/zhangalex/Work/Projects/FW/robius/moly/moly-kit
使用時機
在以下情況使用此技能:
- 使用 Makepad 建構 AI 聊天介面
- 整合 OpenAI 或其他 LLM API
- 實作支援原生與 WASM 的跨平台非同步
- 建立聊天小工具(訊息、提示輸入、頭像)
- 處理 SSE 串流回應
- 關鍵詞:molykit, moly-kit, ai chat, bot client, openai makepad, chat widget, sse streaming
概覽
MolyKit 提供:
- 跨平台非同步工具(PlatformSend, spawn(), ThreadToken)
- 即用型聊天小工具(Chat, Messages, PromptInput, Avatar)
- 用於 AI 提供者整合的 BotClient 特徵
- 支援 SSE 串流的 OpenAI 相容客戶端
- 訊息、機器人與工具呼叫的協定型別
- MCP(模型上下文協定)支援
跨平台非同步模式
PlatformSend - 僅在原生平台要求 Send
/// 在原生平台上表示實作 Send,在 WASM 上則不要求
/// - 在原生:由實作 Send 的型別實作
/// - 在 WASM:所有型別都實作
pub trait PlatformSend: PlatformSendInner {}
/// 跨平台可用的 Box Future 型別
pub type BoxPlatformSendFuture<'a, T> = Pin<Box<dyn PlatformSendFuture<Output = T> + 'a>>;
/// 跨平台可用的 Box Stream 型別
pub type BoxPlatformSendStream<'a, T> = Pin<Box<dyn PlatformSendStream<Item = T> + 'a>>;
平台無關的任務啟動
/// 獨立執行一個 Future
/// - 在原生使用 tokio(需 Send)
/// - 在 WASM 使用 wasm-bindgen-futures(不需 Send)
pub fn spawn(fut: impl PlatformSendFuture<Output = ()> + 'static);
// 使用範例
spawn(async move {
let result = fetch_data().await;
Cx::post_action(DataReady(result));
SignalToUI::set_ui_signal();
});
使用 AbortOnDropHandle 取消任務
/// 當 Handle 被丟棄時中止其 Future
pub struct AbortOnDropHandle(AbortHandle);
// 使用範例 - 當小工具被丟棄時,任務自動取消
#[rust]
task_handle: Option<AbortOnDropHandle>,
fn start_task(&mut self) {
let (future, handle) = abort_on_drop(async move {
// 非同步工作...
});
self.task_handle = Some(handle);
spawn(async move { let _ = future.await; });
}
ThreadToken 處理 WASM 上的非 Send 型別
/// 將非 Send 值儲存在執行緒區域變數中,透過權杖存取
pub struct ThreadToken<T: 'static>;
impl<T> ThreadToken<T> {
pub fn new(value: T) -> Self;
pub fn peek<R>(&self, f: impl FnOnce(&T) -> R) -> R;
pub fn peek_mut<R>(&self, f: impl FnOnce(&mut T) -> R) -> R;
}
// 使用範例 - 包裝非 Send 型別以便在 Send 邊界中使用
let token = ThreadToken::new(non_send_value);
spawn(async move {
token.peek(|value| {
// 使用 value...
});
});
BotClient 特徵
實作 AI 提供者整合
pub trait BotClient: Send {
/// 發送訊息並接收串流回應
fn send(
&mut self,
bot_id: &BotId,
messages: &[Message],
tools: &[Tool],
) -> BoxPlatformSendStream<'static, ClientResult<MessageContent>>;
/// 取得可用的機器人/模型
fn bots(&self) -> BoxPlatformSendFuture<'static, ClientResult<Vec<Bot>>>;
/// 用於四處傳遞的複製
fn clone_box(&self) -> Box<dyn BotClient>;
}
// 使用範例
let client = OpenAIClient::new("https://api.openai.com/v1".into());
client.set_key("sk-...")?;
let context = BotContext::from(client);
BotContext - 可共享的包裝器
/// 可共享的包裝器,內含已載入的機器人,用於同步 UI 存取
pub struct BotContext(Arc<Mutex<InnerBotContext>>);
impl BotContext {
pub fn load(&mut self) -> BoxPlatformSendFuture<ClientResult<()>>;
pub fn bots(&self) -> Vec<Bot>;
pub fn get_bot(&self, id: &BotId) -> Option<Bot>;
pub fn client(&self) -> Box<dyn BotClient>;
}
// 使用範例
let mut context = BotContext::from(client);
spawn(async move {
if let Err(errors) = context.load().await.into_result() {
// 處理錯誤
}
Cx::post_action(BotsLoaded);
});
協定型別
訊息結構
pub struct Message {
pub from: EntityId, // 使用者、系統、機器人(BotId)、應用程式
pub metadata: MessageMetadata,
pub content: MessageContent,
}
pub struct MessageContent {
pub text: String, // 主要內容(Markdown)
pub reasoning: String, // AI 推理/思考
pub citations: Vec<String>, // 來源 URL
pub attachments: Vec<Attachment>,
pub tool_calls: Vec<ToolCall>,
pub tool_results: Vec<ToolResult>,
}
pub struct MessageMetadata {
pub is_writing: bool, // 仍在串流中
pub created_at: DateTime<Utc>,
}
機器人識別
/// 全域唯一的機器人 ID:<len>;<id>@<provider>
pub struct BotId(Arc<str>);
impl BotId {
pub fn new(id: &str, provider: &str) -> Self;
pub fn id(&self) -> &str; // 提供者內的 ID
pub fn provider(&self) -> &str; // 提供者網域
}
// 範例:BotId::new("gpt-4", "api.openai.com")
// -> "5;[email protected]"
小工具模式
Slot 小工具 - 執行時期內容替換
live_design! {
pub Slot = {{Slot}} {
width: Fill, height: Fit,
slot = <View> {} // 預設內容
}
}
// 使用範例 - 在執行時期替換內容
let mut slot = widget.slot(id!(content));
if let Some(custom) = client.content_widget(cx, ...) {
slot.replace(custom);
} else {
slot.restore(); // 恢復為預設
slot.default().as_standard_message_content().set_content(cx, &content);
}
Avatar 小工具 - 文字/圖片切換
live_design! {
pub Avatar = {{Avatar}} <View> {
grapheme = <RoundedView> {
visible: false,
label = <Label> { text: "P" }
}
dependency = <RoundedView> {
visible: false,
image = <Image> {}
}
}
}
impl Widget for Avatar {
fn draw_walk(&mut self, cx: &mut Cx2d, ...) -> DrawStep {
if let Some(avatar) = &self.avatar {
match avatar {
Picture::Grapheme(g) => {
self.view(id!(grapheme)).set_visible(cx, true);
self.view(id!(dependency)).set_visible(cx, false);
self.label(id!(label)).set_text(cx, &g);
}
Picture::Dependency(d) => {
self.view(id!(dependency)).set_visible(cx, true);
self.view(id!(grapheme)).set_visible(cx, false);
self.image(id!(image)).load_image_dep_by_path(cx, d.as_str());
}
}
}
self.deref.draw_walk(cx, scope, walk)
}
}
PromptInput 小工具
#[derive(Live, Widget)]
pub struct PromptInput {
#[deref] deref: CommandTextInput,
#[live] pub send_icon: LiveValue,
#[live] pub stop_icon: LiveValue,
#[rust] pub task: Task, // 發送或停止
#[rust] pub interactivity: Interactivity,
}
impl PromptInput {
pub fn submitted(&self, actions: &Actions) -> bool;
pub fn reset(&mut self, cx: &mut Cx);
pub fn set_send(&mut self);
pub fn set_stop(&mut self);
pub fn enable(&mut self);
pub fn disable(&mut self);
}
Messages 小工具 - 對話視圖
#[derive(Live, Widget)]
pub struct Messages {
#[deref] deref: View,
#[rust] pub messages: Vec<Message>,
#[rust] pub bot_context: Option<BotContext>,
}
impl Messages {
pub fn set_messages(&mut self, messages: Vec<Message>, scroll_to_bottom: bool);
pub fn scroll_to_bottom(&mut self, cx: &mut Cx, triggered_by_stream: bool);
pub fn is_at_bottom(&self) -> bool;
}
非同步轉 UI 的 UiRunner 模式
impl Widget for PromptInput {
fn handle_event(&mut self, cx: &mut Cx, event: &Event, scope: &mut Scope) {
self.deref.handle_event(cx, event, scope);
self.ui_runner().handle(cx, event, scope, self);
if self.button(id!(attach)).clicked(event.actions()) {
let ui = self.ui_runner();
Attachment::pick_multiple(move |result| match result {
Ok(attachments) => {
ui.defer_with_redraw(move |me, cx, _| {
me.attachment_list_ref().write().attachments.extend(attachments);
});
}
Err(_) => {}
});
}
}
}
SSE 串流
/// 將 SSE 位元組串流解析為訊息串流
pub fn parse_sse<S, B, E>(s: S) -> impl Stream<Item = Result<String, E>>
where
S: Stream<Item = Result<B, E>>,
B: AsRef<[u8]>,
{
// 以 "\n\n" 分割,提取 "data:" 內容
// 過濾註解和 [DONE] 訊息
}
// 在 BotClient::send 中的使用
fn send(&mut self, ...) -> BoxPlatformSendStream<...> {
let stream = stream! {
let response = client.post(url).send().await?;
let events = parse_sse(response.bytes_stream());
for await event in events {
let completion: Completion = serde_json::from_str(&event)?;
content.text.push_str(&completion.delta.content);
yield ClientResult::new_ok(content.clone());
}
};
Box::pin(stream)
}
最佳實踐
- 使用 PlatformSend 進行跨平台開發:同一份程式碼可在原生和 WASM 上執行
- 使用 spawn() 而非 tokio::spawn:平台無關的任務啟動方式
- 使用 AbortOnDropHandle:當小工具被丟棄時取消任務
- 使用 ThreadToken 處理 WASM 上的非 Send 型別:透過權杖存取執行緒區域儲存
- 使用 Slot 自訂內容:允許 BotClient 提供自訂小工具
- 使用 read()/write() 模式:透過 WidgetRef 安全借用存取
- 使用 UiRunner::defer_with_redraw:從非同步上下文更新小工具
- 處理 ClientResult 的部分成功:可能同時包含數值和錯誤
參考檔案
llms.txt- 完整的 MolyKit API 參考