完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>
標簽 > 大模型
以大模型作為基礎模型支撐AI產業應用邏輯已經被證明實用性，AI大模型為AI落地應用提供了一種通用化的解決方案；各自各樣參數不一、面向不同行業、面向不同任務的“大模型”也陸續發布，大模型已經成為整個AI 界追逐的寵兒，AI大模型有效果好、泛化性強、研發流程標準化程度高等特點。
文章：2937個 瀏覽：3736次 帖子：18個
在選擇k值時，較大的值會使生成的內容更具多樣性，但可能會生成不合理的內容；較小的值則使生成的內容多樣性較低，但質量更有保證。我們可以根據任務的不同選擇合...
人工智能的基礎設施在大語言模型訓練和推理過程中發揮了關鍵的作用。隨著大語言模型規模不斷增大，其對計算和通信的需求也在不斷增加。高
DMC通過一個決策變量（α）來有效地對輸入序列進行分段，每個段落可以獨立地決定是繼續追加還是進行累積。這允許模型在不同段落之間動態調整內存使用。
通用大型語言模型（LLM）推理基準：研究者們介紹了多種基于文本的推理任務和基準，用于評估LLMs在不同領域（如常識、數學推理、常識推理、事實推理和編程）...
GEAR框架通過結合三種互補的技術來解決這一挑戰：首先對大多數相似幅度的條目應用超低精度量化；然后使用低秩矩陣來近似量化誤差。
不同于上述工作從待干預模型自身抽取引導向量，我們意在從LLMs預訓練過程的切片中構建引導向量來干預指令微調模型（SFT Model），試圖提升指令微調模...
在大模型的發展史上，Scaling Law（規模律）發揮了核心作用，它是推動模型性能持續提升的主要動力。Scaling Law揭示了這樣一個現象：較小的...
對于所有“基座”（Base）模型，–template 參數可以是 default, alpaca, vicuna 等任意值。但“對話”（Chat）模型請...
首先看吞吐量，看起來沒有什么違和的，在單卡能放下模型的情況下，確實是 H100 的吞吐量最高，達到 4090 的兩倍。
OpenVINO?協同Semantic Kernel：優化大模型應用性能新路徑
作為主要面向 RAG 任務方向的框架，Semantic Kernel 可以簡化大模型應用開發過程，而在 RAG 任務中最常用的深度學習模型就是 Embe...
研究者們提出了一個框架來描述LLMs在處理多語言輸入時的內部處理過程，并探討了模型中是否存在特定于語言的神經元。
篇論文主要研究了大型語言模型（LLMs）中的一個現象，即在模型的隱藏狀態中存在極少數激活值（activations）遠大于其他激活值的情況，這些被稱為“...
2024-03-01 標簽：大模型 758 0
深度學習（DL）與自動駕駛（AD）的融合標志著該領域的重大飛躍，吸引了學術界和工業界的關注。配備了攝像頭和激光雷達的AD系統模擬了類似人類的決策過程。
在人工智能領域，谷歌可以算是開源的鼻祖。今天幾乎所有的大語言模型，都基于谷歌在 2017 年發布的 Transformer 論文；谷歌的發布的 BERT...
利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統（下）
對于語言模型（LLM）幻覺，知識圖譜被證明優于向量數據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現幻覺的可能性。
利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統（上）
向量數據庫是一組高維向量的集合，用于表示實體或概念，例如單詞、短語或文檔。向量數據庫可以根據實體或概念的向量表示來度量它們之間的相似性或關聯性。
那關于LLM的長文本能力，目前業界通常都是怎么做的？有哪些技術點或者方向？今天我們就來總結一波，供大家快速全面了解。
對于模型訓練，我們可以采用 3D 并行訓練的方式來實現。將模型參數和梯度張量劃分為多個分區，分配到不同 GPU 卡上進行計算。每張卡負責自己分區的梯度和...
門控網絡或路由: 這個部分用于決定哪些令牌 (token) 被發送到哪個專家。例如，在下圖中，“More”這個令牌可能被發送到第二個專家，而“Param...
2024-02-22 標簽：神經網絡AITransformer 5245 0
換一批
編輯推薦廠商產品技術軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯網 | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發電 | UPS | AR | 智能電網 | 國民技術 | Microchip |
| 開關電源 | 步進電機 | 無線充電 | LabVIEW | EMC | PLC | OLED | 單片機 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 藍牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太網 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 語音識別 | 萬用表 | CPLD | 耦合 | 電路仿真 | 電容濾波 | 保護電路 | 看門狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 閾值電壓 | UART | 機器學習 | TensorFlow |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關注我們的微信
下載發燒友APP
電子發燒友觀察
版權所有 ? 湖南華秋數字科技有限公司
長沙市望城經濟技術開發區航空路6號手機智能終端產業園2號廠房3層（0731-88081133）
電子發燒友 （電路圖） 湘公網安備43011202000918
工商網監
湘ICP備2023018690號-1
