基于預訓練語言模型的行業搜索的應用和研究
sparse retrieval：傳統的基于字或基于詞去建立倒排索引，同時基于此去構建很多查詢理解的....
NLP類別不均衡問題之loss大集合
NLP 任務中，數據類別不均衡問題應該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題....
Jina AI到底是做什么的？為什么要做這些
在 Jina AI，我們的產品囊括了跨模態、多模態、神經搜索和生成式 AI，涵蓋了未來 AI 應用的....
基于統一語義匹配的通用信息抽取框架USM
信息提取（Information Extraction，IE）需要提取句子中的實體、關系、事件等，其....
對話機器人之Sparrow簡介
DeepMind提出的Sparrow，相對于以往的方法，是一種更加有用，準確并且無害的信息檢索對話機....
基于Transformer編碼器的chatGPT模型設計
Bert 所作的事就是從大規模的上億的文本預料中，隨機地扣掉一部分字，形成上面例子的完形填空題型，不....
一鍵從Prompt到PowerPoint
職場人苦 PPT 久矣。想做出一份優秀的 PPT，確實難點頗多：要構思亮眼的標題、簡明的大綱、精煉的....
ChatGPT反思大語言模型的技術精要
在Bert和GPT模型出現之前，NLP領域流行的技術是深度學習模型，而NLP領域的深度學習，主要依托....
模型任務的評價指標體系
1. 寫在前面 模型“好”與“壞”的評價指標直接由業務目標/任務需求決定。我們需要做的是：根據具體的....
文本圖片編輯新范式：單個模型實現多文本引導圖像編輯
本文首先利用已有的編碼器將需要編輯的圖像轉換到 StyleGAN 的 語義空間中的潛在編碼 w，再通....
一文速覽人崗匹配領域研究進展
基于文本匹配的方法認為求職者與職位是否匹配主要依賴于求職者簡歷中的技能或工作經歷與職位要求描述之間是....
京東：基于多類目MoE模型的電商搜索引擎
此外，對于一些小類目的商品，在訓練集樣本量上和大類目相比差距懸殊，在模型訓練過程中會被大類目商品的樣....
基于長度感知注意機制的長度可控摘要模型
本文的方法是在由原始訓練數據構建的摘要長度平衡數據集上訓練 LAAM，然后像往常一樣進行微調。結果表....
Distributed Data Parallel中的分布式訓練
與DataParallel不同的是，Distributed Data Parallel會開設多個進程....
對話機器人之LaMDA
來自：NLP日志 提綱1 簡介 2 LaMDA 3 總結 1 簡介 LaMDA是在DeepMind的....
講一講ChatGPT的技術細節
通過人工標注等方式，使用監督學習的模式對GPT3模型（對這個是chatGPT模型的base）進行初步....
世界杯融入詞庫的位置編碼方法介紹
實際上在NER任務中，格是一個有向無環圖，其中每個節點都是一個字符或一個潛在的字，可以參考圖1a。格....
介紹幾篇EMNLP'22的語言模型訓練方法優化工作
來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓練方法優化的工作，這3篇工作....
靴子落地：ChatGPT 國內發展或被「拉手剎」
實際上，早在今年 1 月，國家網信辦就發布了《互聯網信息服務深度合成管理規定（征求意見稿）》，公開征....
為什么使用ROC曲線？
對于樣本數據，我們使用分類器對其進行分類，分類器會給出每個數據為正例的概率。我們可以針對此來設定一個....
基于優化的元學習方法
為了解決上述問題，本文將目光從任務專用的soft prompt模型設計轉移到任務通用的模型參數初始化....
如何簡單粗暴的提升NER效果？
如果我們有一個訓練數據集，比方說一個case：“海底撈的主要食物是火鍋”，在NER的任務中，標注成為....
無殘差連接或歸一化層，也能成功訓練深度Transformer
最近，使用信號傳播原則來訓練更深度的 DNN 并且殘差架構中沒有殘差連接和 / 或歸一化層的參與，成....
自然語言處理或將迎來新的范式變遷
從技術角度講，ChatGPT還是基于大規模預訓練語言模型（GPT-3.5）強大的語言理解和生成的能力....
一文速覽醫學多模態進展
本文主要從全局和局部進行醫學圖像的表示學習，提出GLoRIA模型，主要使用注意機制，通過匹配放射學報....
對話系統中的多路召回和排序
首先，是比較經典的檢索技術，這個其實對應的比較經典的檢索式對話，其實現在仍舊被廣泛使用，一些依賴數據....
張俊林：ChatGPT會成為下一代搜索引擎嗎
說回ChatGPT，例子就不舉了，在網上漫山遍野都是，我們主要從技術角度來聊聊。那么，ChatGPT....
CLIP-Chinese：中文多模態對比學習預訓練模型
CLIP模型主要由文本編碼器和圖片編碼器兩部分組成，訓練過程如下圖所示。對于batch size為N....
工商網監