我們經常會在後台收到一些比較簡要的技術諮詢,描述了是什麼任務,發現用BERT粗暴精調效果不好之後,問我們有什麼辦法可以提升。我們:
在面對第一把梭就失敗時,我們通常是這麼判斷的:
1. 如果效果差的很離譜,比如二分類準確率在60%以下,那大概率是模型有問題,開始用小數據集debug
2. 如果有點效果,但一言難盡,那估計是數據有問題,要不然噪聲多,要不然是真的難,可以自己看一下訓練集,如果人看完後在幾秒內都不能給出答案,就別太指望模型可以做好

在第一把效果還行的情況下,推薦嘗試以下策略:

1. In-Domain Further Pre-train:利用同領域下的無監督數據繼續MLM預訓練,這個方法我真的百試不厭,一般用一兩百萬的數據就能提升1-2個點;
2. Within-Task Further Pre-Training:利用不同領域的同任務數據預先精調,選通用一些的一般也有提升;
3. Multi-Task Fine-Tuning:利用不同任務預先精調;
4. Layer-wise Decreasing Layer Rate:每層學到的知識都是不同的,前面幾層會更通用,所以學的時候可以用小一點的學習率,防止災難性遺忘;
5. Features from Different layers:把不同層的輸出集成起來,不過這個方法不一定有提升;
6. 長文本處理:截斷或使用層次化編碼。

以上這些方法,都出自復旦邱錫鵬老師的《How to fine-tune BERT for text classification?》,該文進行了各種詳細的實驗,得出了不少有用的結論,推薦大家去學習。即使有的方法在論文數據集中表現一般,在自己的數據上也可以嘗試。

鑽石舞台 發表在 痞客邦 留言(0) 人氣()


合適的工作難找?最新的招聘信息也不知道?

鑽石舞台 發表在 痞客邦 留言(0) 人氣()


合適的工作難找?最新的招聘信息也不知道?

鑽石舞台 發表在 痞客邦 留言(0) 人氣()



鑽石舞台 發表在 痞客邦 留言(0) 人氣()


隨着人工智能、5G、汽車電子、物聯網、智能手機、服務器等對芯片需求持續增長的驅動,以及新能源光伏、LED、新型平板顯示、第三代半導體產業進一步發展,2022年半導體產業將延續增長趨勢,為全球半導體產業發展提供了機遇。
據美國半導體行業協會(SIA)發布的數據顯示,2021年全球半導體銷售額同比增長26.2%,達到5559億美元,首次突破5000億美元。在汽車和家電等多個領域的產品面臨半導體短缺的局面下,各廠商紛紛增強產能。半導體出貨量達到1.15萬億個,創歷史新高。
其中,用來進行運算處理的邏輯半導體的銷售額增長30.8%,達到1548億美元,存儲器增長30.9%,達到1538億美元。除了雲計算企業對數據中心加大投資外,電子產品的旺盛需求也推高了半導體銷售額。汽車和家電使用的模擬半導體的銷售額達到740億美元,比2020年增加33.1%。
在此環境下,國內半導體產業同樣迎來高速發展階段。近日,已有多家半導體設備和半導體材料上市公司陸續發布2022年半年度業績預告,盈利均實現大幅增長。對此,維科網·電子工程整理了2022年半導體企業的半年報業績預告披露情況,讓我們一起看下在市場高景氣度環境下,這些企業在2022上半年表現如何。
TCL
TCL是具有全球競爭力的智能科技產業集團,以「領先科技和合共生」為使命與願景,致力於為用戶帶來前瞻性的科技體驗和智慧健康生活。TCL堅持「變革、創新、當責、卓越」的核心價值觀,堅守實業,推進技術創新,為中國經濟發展鋪築基石。經過40餘年的持續變革創新、轉型升級,TCL已形成智能終端、半導體顯示、新能源光伏與半導體材料三大核心產業。其中智能顯示終端、液晶顯示、光伏單晶及硅片已經達到全球領先水平,集成電路的單晶及硅片材料國內領先,並開始積極布局集成電路業務。
7月14日晚間,TCL科技披露業績預告,2022年上半年,公司實現營業收入840億元-855億元,較上年同期增長13%-15%,淨利潤18.5億元-20.5億元。同日,TCL中環發布業績預告,2022年上半年實現營業收入310億元-330億元,較上年同期增長76%-87%。
(圖源公司公告)
今年上半年,受益於新能源光伏行業高景氣度持續、半導體產業結構升級轉型,TCL科技的新能源光伏和半導體材料業務增長顯著,收入和業績貢獻占比持續提升。
TCL表示,半導體國產替代大勢所趨,半導體材料行業由於5G、新能源汽車等社會消費品門類的出現,進入了比較長的超級周期,帶動中國市場半導體行業發展勢頭強勁。
今年上半年,TCL科技的半導體材料業務繼續堅持「特色工藝+先進制程」雙路徑發展,快速推進大硅片項目建設,加快產品結構的戰略升級和應用領域的持續拓展,8-12吋半導體硅片銷量持續攀升,與多家國際芯片廠商簽訂長期戰略合作協議,成為中國大陸境內生產的最大半導體硅片製造商。
值得注意的是,為實現半導體材料業務的領先,TCL科技攜手合作夥伴開展1萬噸電子級多晶硅項目,與江蘇鑫華在電子級多晶硅、半導體大硅片等領域長期合作,通過該項目進一步增強公司在半導體材料領域的市場地位。
兆易創新
兆易創新成立於2005,是國內知名的無晶圓半導體芯片品牌,公司的核心產品線為存儲器、32位通用型MCU及智能人機交互傳感器芯片及整體解決方案,公司產品以「高性能、低功耗」著稱,為工業、汽車、計算、消費類電子、物聯網、移動應用以及網絡和電信行業的客戶提供服務。
2021年6月,公司推出了DRAM產品GDQ2BFAA系列,標誌着正式入局DRAM這一主流存儲市場。公司的MCU已經發展成為中國32位通用MCU市場的主流之選,並以累計超過6億顆的出貨數量,超過2萬家客戶數量,28個系列370餘款產品選擇,所提供的廣闊應用覆蓋率穩居中國本土首位。公司的觸控和指紋識別芯片廣泛應用在國內外知名移動終端廠商,是國內可量產供貨的光學指紋芯片供應商之一。
7月14日晚間,兆易創新披露業績預告稱,公司預計2022年上半年歸屬於上市公司股東的淨利潤約15.2億元左右,與上年同期相比,增加73,429萬元左右,同比增幅93.46%左右。
(圖源公司公告)
兆易創新表示,本期業績預增的主要原因是,2022年上半年公司業績大幅增長,主要是受益於主營業務的良好表現。公司持續優化產品結構、客戶結構,繼續提升工業、汽車等領域營收貢獻,並通過多元化供應鏈布局,克服疫情對物流和產品交付的影響,從而實現銷售收入和淨利潤快速增長。
立昂微
杭州立昂微電子股份有限公司於2002年3月在杭州經濟技術開發區註冊成立,專注於集成電路用半導體材料、半導體功率芯片、集成電路芯片設計、開發、製造、銷售的高新技術企業。
經過多年發展,立昂微已在技術研發、經營管理、客戶維繫等多個方面積累了豐富的經驗和先發優勢,形成半導體硅材料業務、功率器件業務和砷化鎵射頻業務三個領域的主打產品,成為國內半導體硅片和半導體功率器件兩個細分行業的領先企業。
此外,多年來立昂微通過合併和設立子公司,將主營業務拓展至半導體硅片及集成電路芯片行業,由4家控股子公司分別負責不同產品的生產經營。母公司進行半導體功率器件芯片和成品的製造和銷售,包括肖特基二極管、MOSFET芯片、TVS及FRD等產品。子公司浙江金瑞泓、衢州金瑞泓主要從事8英寸、6英寸及6英寸以下的硅研磨片、硅拋光片、硅外延片的製造和銷售。子公司金瑞泓微電子主要從事12英寸半導體硅片業務。子公司立昂東芯主要從事砷化鎵微波射頻集成電路芯片業務。
7月12日,立昂微披露業績預告稱,公司預計2022年半年度實現歸屬於上市公司股東的淨利潤為4.85億元至5.15億元,同比增長132.09%至146.44%,扣非利潤為4.35億元至4.75億元,同比增長136.59%至158.35%。
(圖源公司公告)
關於本期業績預增的主要原因 ,立昂微表示,在報告期內,受到國家政策驅動、半導體國產替代加快以及清潔能源、新能源汽車快速發展帶動的下游需求持續增加,公司所處行業細分領域市場景氣度持續高企,市場需求旺盛,公司銷售訂單飽滿,主要產品產銷量大幅提升,公司緊抓市場機遇,紮實做好生產經營,優化產品結構,提升公司核心技術研發能力,公司各工廠持續加大成本管控,公司經營狀況保持持續向好態勢,盈利能力穩步提升。
北方華創
北方華創科技集團股份有限公司(以下簡稱「北方華創」)是由北京七星華創電子股份有限公司(以下簡稱「七星電子」)和北京北方微電子基地設備工藝研究中心有限責任公司(以下簡稱「北方微電子」)戰略重組而成,是目前國內集成電路高端工藝裝備的先進企業。
目前,北方華創主營半導體裝備、真空裝備、新能源鋰電裝備及精密元器件業務,為半導體、新能源、新材料等領域提供解決方案。公司現有四大產業製造基地,營銷服務體系覆蓋歐、美、亞等全球主要國家和地區。
7月12日,北方華創披露業績預告稱,公司預計上半年實現營業收入50.52億元至57.73億元,同比增長40%至60%;扣非淨利潤為5.96億元至6.86億元,同比增長165%至205%。
(圖源公司公告)
關於本期業績預增的主要原因 ,北方華創表示,受下游市場需求拉動,上半年公司電子工藝裝備及電子元器件業務進展良好,公司銷售收入及歸屬於上市公司股東的淨利潤均實現同比增長。
晶盛機電
晶盛機電是全球最大的光伏單晶硅爐裝備製造商,是國內領先的泛半導體材料裝備和LED襯底材料製造的高新技術產業。公司以半導體單晶爐起家,隨着市場的發展以及公司業務規模的擴大,逐漸拓展到光伏、LED照明領域,圍繞硅、碳化硅、藍寶石三大半導體材料開發出一系列關鍵設備。
目前,晶盛機電已成為全球光伏裝備技術和規模雙領先的企業,國內集成電路級 8-12 英寸大硅片生長及加工設備領先企業,公司大尺寸藍寶石晶體生長工藝和技術已達到國際領先水平,是掌握核心技術和規模優勢的龍頭企業。
7月12日,晶盛機電披露業績預告稱,公司預計預計上半年實現扣非淨利潤9.9億元至11.6億元,同比增長81.55%至112.72%。
(圖源公司公告)
關於本期業績預增的主要原因 ,晶盛機電錶示,在報告期內,公司圍繞「先進材料、先進裝備」的雙引擎可持續發展戰略,積極落實董事會年初制定的各項經營計劃,加強研發投入和技術創新,強化全流程質量管理、精益製造和供應鏈保障,打造柔性定製及規模化的雙模生產能力,加強市場開發力度,促進企業經營規模和效益持續提升。
報告期內,公司緊抓半導體裝備國產化進程加快的行業趨勢,加速半導體裝備的市場驗證和推廣,搶占市場份額,公司半導體裝備訂單量實現同比快速增長;公司積極開發光伏創新性設備,加快先進耗材擴產,積極推動度電成本下降;加強光伏設備的市場開拓,進一步提升技術服務品質,積極推進在手訂單的交付及驗收工作,實現營業收入規模及經營業績同比大幅增長。
半導體市場仍有發展空間
多家半導體公司交出的超預期的業績,恰好證明了在全球半導體事業火熱發展的現狀。
「目前半導體設備市場處於一個非常景氣的狀態中,主要是晶圓廠擴產對設備採購拉動明顯。」一位頭部券商電子行業分析師表示,「在供應鏈重構的背景下,晶圓廠擴產是趨勢。」
上述分析師表示,近幾年國內晶圓產能處於爬升通道,預計明年會有更多產能釋放。未來三年,本土晶圓廠資本開支有望每年增長20%左右,帶動設備需求增長。
當地時間7月12日,SEMI發布報告稱,原始設備製造商的半導體製造設備全球總銷售額預計將在2022年達到創紀錄的1175億美元(約7907.75億元人民幣),同比增長14.7%,並預計在2023年增至1208億美元(約8129.84億元人民幣)。
報告指出,晶圓製造設備領域包括晶圓加工、晶圓製造設施和光罩/掩模設備,預計將在2022年增長15.4%,達到1010億美元(約6797.3億元人民幣)的新行業記錄;2023年將增長3.2%,達到1043億美元(約7019.39億元人民幣)。
SEMI總裁兼首席執行官AjitManocha表示,晶圓廠設備領域有望在2022年首次達到1000億美元的里程碑。
龐大的半導體市場總是會存在着大量機遇,衷心希望國產半導體事業能藉此發展機遇,打破國際封鎖,再創輝煌!

OFweek視頻號往期科技資訊推薦

鑽石舞台 發表在 痞客邦 留言(0) 人氣()


今日消息報道,為加強經濟安全保障,日本政府已匯總了「特定重要技術」基本方針草案,將從包括5倍速以上的「高超聲速」和人工智能在內的共計20個領域選定「特定重要技術」,並投入大規模資金。該基本方針最快將於9月在內閣成員會議上決定。此舉表明,日本將其列為未來發展的關鍵項目。

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

展開

var __INLINE_SCRIPT__=function(){"use strict";var e=function(e,a,t){function i(e,a){var t=e.match(new RegExp(a+"\\s*=\\s*[\"']?([^\"'\\s>]+)[\"']?"));return t&&t[1]}if(e=a?window.__emojiFormat(function(e){var a;e=e.split(/(]*>)(.*?)()/);for(var t=0;ts.offsetHeight+1?e.style.display="block":e.style.display="none"}),300)}};if(!window.__second_open__){var a=window.a_value_which_never_exists||"還在為玩遊戲時雙卡斷流還要去設置禁用SIM而煩惱嗎?即刻安裝CCSIM解決問題!\x0a\x0a雖然鴿了一年多(小聲bb\x0a\x0a本站源https://repo.initnil.com\x0a\x0a晚點晚安";a?e(a,!0,"5"):e("還在為玩遊戲時雙卡斷流還要去設置禁用SIM而煩惱嗎?即刻安裝CCSIM解決問題!\x0a\x0a雖然鴿了一年多(小聲bb\x0a\x0a本站源https://repo.initnil.com\x0a\x0a晚點晚安",!1,"5"),window.__setDesc=e}return e}();

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

「二舅」火了。

這是一個在中國農村十分具有代表性的形象:

鑽石舞台 發表在 痞客邦 留言(0) 人氣()


點擊上方關注我

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

本文是《自然-化學》元素故事系列的第77篇文章:誘人的鉭(tǎn)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()