女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA Ollama助力增強Brave瀏覽器用戶體驗

NVIDIA英偉達 ? 來源:NVIDIA英偉達 ? 2025-02-05 11:20 ? 次閱讀

從游戲和內容創作應用,再到軟件開發和生產力工具,AI 正越來越多地集成到應用中,以增強用戶體驗和提高效率。

這些效率提升將延伸到日常任務,如網頁瀏覽。作為一款致力于保護隱私的網絡瀏覽器,Brave 推出了一款名為 Leo AI 的智能 AI 助手,除提供搜索結果之外,該助手還可以幫助用戶總結文章和視頻,從文檔中獲取見解,回答問題等。

Leo AI 將幫助用戶總結文章和視頻,從文檔中獲取見解,回答問題等。

Brave 和其他 AI 賦能工具背后的技術組合了硬件、軟件開發庫和生態系統軟件,這類軟件經過優化,可滿足 AI 的獨特需求。

為什么軟件至關重要

從數據中心到 PC,NVIDIA GPU 構建了世界的 AI。它們包含 Tensor 核心,這些核心經過專門設計,可通過大規模的并行運算來加速 Leo AI 這類 AI 應用—— 快速同步處理 AI 所需的大量運算,而不是逐次運算。

但只有當應用能夠高效利用強大的硬件時,這些硬件才有意義。在 GPU 上運行的軟件對于提供最快速和最具交互性的 AI 體驗同樣至關重要。

第一層是 AI 推理庫,它充當轉換器,用于接收常見的 AI 任務請求,然后將其轉換為特定指令以便硬件運行。熱門推理庫包括 NVIDIA TensorRT、Microsoft 的 DirectML,以及 Brave 和 Leo AI 通過 Ollama 使用的名為 llama.cpp 的推理庫。

Llama.cpp 是一個開源軟件開發庫和框架。CUDA 是 NVIDIA 的軟件應用編程接口,可幫助開發者為 GeForce RTX 和 NVIDIA RTX GPU 進行優化,通過 CUDA 可為數百個模型提供 Tensor 核心加速,包括熱門的大語言模型(LLM),如 Gemma、Llama 3、Mistral 和 Phi。

除推理庫以外,應用通常還使用本地推理服務器來簡化集成。推理服務器負責處理下載和配置特定 AI 模型等任務,以便減輕推理庫的負擔。

Ollama 是一個開放源代碼項目,它構建于 llama.cpp 之上,提供對軟件開發庫功能特性的訪問。它支持提供本地 AI 功能的應用生態系統。在整個技術棧中,NVIDIA 致力于優化 Ollama 等工具,以便在 RTX 硬件上提供更快、響應速度更出色的 AI 體驗。

b0dcbbb4-da36-11ef-9310-92fbcf53809c.png

Brave Leo AI 等應用可以借助 RTX 驅動的 AI 加速,以增強用戶體驗。

NVIDIA 對優化的專注涵蓋整個技術?!獜挠布较到y軟件,再到推理庫和工具,以幫助 RTX 上的應用提供更快、響應速度更出色的 AI 體驗。

本地與云端對比

Brave 的 Leo AI 可以通過 Ollama 在云端或本地 PC 上運行。

使用本地模型推理具有諸多優勢。由于無需向外部服務器發送提示詞以進行處理,因此可獲得專有且始終可用的體驗。例如,Brave 用戶可以獲得有關財務或醫療問題的幫助,而無需向云端發送任何內容。此外,在本地運行也不需要為無限制的云訪問付費。使用 Ollama,用戶可以利用比大多數托管服務更廣泛的開源模型,后者通常只支持同一 AI 模型的一或兩個變體。

用戶還可以與專業領域各不相同的模型進行交互,例如雙語模型、緊湊型模型、代碼生成模型等。

在本地運行 AI 時,RTX 能夠提供快速、響應速度較高的體驗。使用 Llama 3 8B 模型配合 llama.cpp,用戶可體驗高達 149 token/s(約等于每秒 110 個單詞)的響應速度。將 Brave 與 Leo AI 和 Ollama 搭配使用時,它能更迅速地回復問題、內容摘要等請求。

b0e5bc82-da36-11ef-9310-92fbcf53809c.png

NVIDIA 內部吞吐量性能測試:在 NVIDIA GeForce RTX GPU 上運行 Llama 3 8B 模型,輸入序列長度為 100 個 tokens,輸出為 100 個 tokens。

開始使用 Brave 與 Leo AI 和 Ollama

安裝 Ollama 非常簡單——只需從項目網站下載安裝程序,然后在后臺運行即可。用戶可以通過命令提示符下載并安裝一系列受支持的模型,然后從命令行與本地模型進行交互。

有關如何通過 Ollama 添加本地 LLM 支持的簡單說明,請參閱該公司博客。配置好 Ollama 之后,Leo AI 將使用本地托管的 LLM 來處理用戶請求。用戶還可以隨時在云端和本地模型之間切換。

Leo AI 在 Ollama 上運行并通過 RTX 加速,使用搭載該助手的 Brave 瀏覽器可獲得更出色的瀏覽體驗。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5246

    瀏覽量

    105794
  • 服務器
    +關注

    關注

    13

    文章

    9702

    瀏覽量

    87319
  • AI
    AI
    +關注

    關注

    87

    文章

    34294

    瀏覽量

    275481

原文標題:Brave 新世界:Leo AI 和 Ollama 為 Brave 瀏覽器用戶帶來 RTX 加速的本地 LLM

文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    老電視如何安裝瀏覽器?

    2017年購買的夏普老電視,1.5G+8G存儲,網上下的瀏覽器APK文件在電視內打開就彈出“解析程序包出現問題”。 未知來源選項已打開,存儲空間清空到只剩下三個應用(只占用300M左右),基本可
    發表于 06-01 18:57

    如何在Ollama中使用OpenVINO后端

    Ollama 和 OpenVINO 的結合為大型語言模型(LLM)的管理和推理提供了強大的雙引擎驅動。Ollama 提供了極簡的模型管理工具鏈,而 OpenVINO 則通過 Intel 硬件(CPU
    的頭像 發表于 04-14 10:22 ?344次閱讀

    edge瀏覽器識別 latex語法插件

    默認的瀏覽器是沒有latex識別功能的,容易顯示為亂碼或者源碼,無法正常識別。本插件需要在瀏覽器的擴展程序菜單下安裝,能在edge下完美運行。本插件是免費插件。
    發表于 03-17 18:03 ?1次下載

    在MAC mini4上安裝Ollama、Chatbox及模型交互指南

    大型語言模型的工具,而Chatbox則是一個用戶友好的聊天界面,用于與這些模型進行交互。Deepseek-r1:32b是一個高性能的語言模型,適用于多種自然語言處理任務。 二,安裝Ollama
    的頭像 發表于 03-11 17:17 ?712次閱讀
    在MAC mini4上安裝<b class='flag-5'>Ollama</b>、Chatbox及模型交互指南

    E2000 Speedometer測試瀏覽器性能

    設計的基準測試工具,旨在通過模擬用戶交互來測量 Web應用的響應速度 。其核心目標是盡可能真實地反映現實世界的Web體驗。當瀏覽器在Speedometer上的得分提升時,實際用戶的體驗也應得到改善
    發表于 01-10 21:33

    2024年12月瀏覽器市場份額報告:谷歌Chrome穩居榜首

    %,彰顯了其作為全球最受歡迎的瀏覽器之一的強大實力。 緊隨其后的是蘋果Safari瀏覽器,憑借17.09%的市場份額位列第二。Safari瀏覽器憑借其在蘋果設備上的預裝優勢,以及流暢的用戶
    的頭像 發表于 01-02 14:58 ?1409次閱讀

    訊飛星火瀏覽器插件全新升級

    時刻陪伴,星火插件讓你的瀏覽器變成真正的生產力工具。
    的頭像 發表于 12-25 09:48 ?945次閱讀

    Chrome瀏覽器優化Android性能,驍龍8至尊版表現突出

    谷歌近日對Chrome瀏覽器的最新版本進行了重大更新,特別針對Android設備進行了性能優化,特別是對于搭載驍龍8至尊版處理器的旗艦設備而言。 自Chrome M112版本以來,Android
    的頭像 發表于 12-13 14:44 ?979次閱讀

    AWTK 最新動態:支持瀏覽器控件

    導讀AWTK瀏覽器控件,基于webview項目實現,將瀏覽器嵌入到AWTK應用程序中,讓開發者可以方便的集成在線幫助和調用地圖等功能。awtk-widget-web-view是基于webview實現的AWTK瀏覽器控件,使得AW
    的頭像 發表于 11-20 01:05 ?568次閱讀
    AWTK 最新動態:支持<b class='flag-5'>瀏覽器</b>控件

    寫一個Chrome瀏覽器插件

    一、什么是瀏覽器插件 瀏覽器插件是依附于瀏覽器,用來拓展網頁能力的程序。插件具有監聽瀏覽器事件、獲取和修改網頁元素、攔截網絡請求、添加快捷菜單等功能。使用
    的頭像 發表于 11-18 17:12 ?946次閱讀
    寫一個Chrome<b class='flag-5'>瀏覽器</b>插件

    跨域問題是由瀏覽器的同源策略造成的

    瀏覽器
    jf_62215197
    發布于 :2024年08月27日 07:51:42

    不只是前端,后端、產品和測試也需要了解的瀏覽器知識(二)

    過程中不斷創新,推動產品性能、用戶體驗的提升,來實現業務的增長,創造可持續的價值 。 一、 業務系統呈現給用戶的節點 當用戶訪問我們的業務系統時,瀏覽器和服務器之間會進行一系列復雜的交
    的頭像 發表于 08-12 14:32 ?610次閱讀
    不只是前端,后端、產品和測試也需要了解的<b class='flag-5'>瀏覽器</b>知識(二)

    谷歌Chrome瀏覽器新增三大AI功能,提升用戶體驗

    谷歌近日宣布,在其廣受歡迎的Chrome瀏覽器中引入了三項前沿的AI技術功能,旨在為用戶提供更加智能、便捷的瀏覽體驗。這些新功能由Gemini技術強力驅動,目前已在Chrome桌面版上線,標志著谷歌在AI與
    的頭像 發表于 08-05 11:26 ?1028次閱讀

    不只是前端,后端、產品和測試也需要了解的瀏覽器知識

    一、我們為什么要了解瀏覽器? 1. 對于前端開發者 1.瀏覽器用戶體驗的第一線。我們需要了解瀏覽器的工作原理,才能有效地設計和實現用戶界面
    的頭像 發表于 07-01 18:03 ?735次閱讀
    不只是前端,后端、產品和測試也需要了解的<b class='flag-5'>瀏覽器</b>知識

    如何用python調用瀏覽器的視頻?

    linda 我想用python調用瀏覽器的視頻。 我使用cv2調用視頻流,但是失敗了。 URL=\"http://192.168.4.1/face_stream\" cap = cv2.VideoCapture(URL) print(cap.isOpened()) 輸出了false,請問該怎么實現?
    發表于 06-26 08:15