鑽石舞台｜痞客邦

Iceberg是一種開放的數據湖表格式，您可以藉助Iceberg快速地在HDFS上構建自己的數據湖存儲服務，並藉助開源大數據生態的Spark、Flink、Hive和Presto等計算引擎來實現數據湖的分析。本篇文章主要介紹如何在Apache Spark3環境下集成Iceberg並使用，Iceberg使用Apache Spark的DataSourceV2 API來實現Data Source和Catalog。Spark DSv2是一個不斷更新迭代的API，在不同的Spark版本中支持的程度也不一樣，目前Spark2.4版本是不支持SQL DDL操作。關於CDP中安裝Spark3可以參考Fayson前面的文章《7.1.7-如何在CDP集群中安裝Spark3》。

(繼續閱讀...)

鑽石舞台發表在痞客邦留言(0) 人氣()

個人分類：不設分類

▲top

Apr 08 Fri 2022 10:30
e車網軌道交通資訊 - 寧波軌道交通「智能能源系統節能工程」榮列中國城市軌道交通協會示範工程

點擊「e車網軌道交通資訊」

關注我們

☀定期推送第一手軌道交通資訊，新鮮的熱點新聞、權威的專家解讀、全面的技術分析，更有27萬+軌道交通採購商機，招標、招募、詢價......一號在手，隨時隨地查看！

為全面貫徹黨中央、國務院「碳達峰、碳中和」重大戰略決策，落實《中國城市軌道交通智慧城軌發展綱要》的建設目標及重點任務，寧波軌道交通集團以低碳節能技術創新為依託，打造「基於雲平台的智能能源系統節能工程」。近日，該項目被中國城市軌道交通協會（簡稱：中城軌協會）列為示範工程。

這是繼中城軌協會發布《中國城市軌道交通智慧城軌發展綱要》《中國城市軌道交通協會示範工程管理辦法》後的第五項示範工程，將成為寧波軌道交通踐行綠色、低碳發展理念的又一項標誌性重要成果。

示範工程以寧波軌道交通3號線二期、4號線、5號線一期工程為依託，創新節能技術，結合數字化、智能化管理手段，構建「節能減排、綠色低碳、智能高效」的城市軌道交通能源系統。此示範技術將在第三期6、7、8號線建設中全面推廣應用，預計運營綜合能耗將下降25%。

助力「雙碳」目標

打造精品示範工程

為落實國家「雙碳」戰略目標和智慧城軌發展綱要，近年來，寧波軌道交通持續開展軌道交通牽引供電、動力照明等系統的科研創新，在取得系列技術應用的基礎上，打造「基於雲平台的智能能源系統節能示範工程」。

示範工程深入挖掘城市軌道交通供能側、用能側綜合節能提升和改進空間，同步構建基於雲平台、大數據的能源管理系統，積極探索「供用管一體化」綜合節能解決方案。從牽引供電、車站通風空調、低壓照明等多個系統，提升節能降耗水平；通過地源熱泵、光伏發電等綠色新能源應用，優化能源結構；以數字化管理手段，進一步實現智慧化節能管控和調配。對於實現「雙碳」戰略目標和助推智慧城軌發展具有重要意義。

目前，工程中採用的多項節能技術已成功試點應用，如4號線工程採用國內首創架空接觸網結合專用軌回流技術、5號線一期採用雙向變流牽引供電、車輛永磁同步牽引技術等，較傳統的牽引供電系統節能效果明顯。

攻克行業難題

創新節能技術手段

示範工程以寧波軌道交通3號線二期、4號線、5號線一期工程為依託，以構建「節能減排、綠色低碳、智能高效」的城市軌道交通能源系統為目標，不斷推進關鍵技術創新。

寧波軌道交通在工程中採用的雙向變流牽引供電、專用軌回流、永磁同步牽引、高效節能通風空調等先進節能技術，能有效解決城軌牽引與動照系統綜合能耗、城市地下管線與大氣環境安全等重大技術難題。其中國內首創架空接觸網結合專用軌回流技術，從源頭上解決雜散電流腐蝕的世界性難題。

賦能智慧城軌

樹立行業示範標杆

寧波軌道交通計劃於2024年完成示範工程整體技術在3號線二期、4號線、5號線一期的實施應用，並將在第三期線路6號線一期、7號線、8號線一期建設過程中完成示範成果的全面推廣應用。

該節能工程在全國城軌行業率先提出打造智能能源系統綜合節能技術體系，不僅將形成一套適用於智能能源系統的標準規範，為城市軌道交通建設和運營智能能源系統提供示範和依據，還將為城軌行業實現更高水平的節能減排，邁向綠色低碳、可持續發展的道路輸出「寧波方案」，為加快智慧城軌建設注入新的活力。

來源：寧波軌道交通

(繼續閱讀...)

鑽石舞台發表在痞客邦留言(0) 人氣()

個人分類：不設分類

▲top

Apr 08 Fri 2022 10:01
Apache - 阿里雲Elasticsearch日誌場景\r\n最佳實踐及引擎內核優化

摘要：本文整理自阿里巴巴技術專家郭嘉梁（梁楹）在阿里雲Elasticsearch 自研引擎年度發布的演講。主要內容包括：

阿里雲Elasticsearch 日誌場景最佳實踐

阿里雲Elasticsearch 引擎內核優化

阿里雲Elasticsearch性能評測

阿里雲Elasticsearch產品演示

(繼續閱讀...)

鑽石舞台發表在痞客邦留言(0) 人氣()

個人分類：不設分類

▲top

Apr 08 Fri 2022 10:01
Apache - 阿里雲EMR StarRocks 測試指南

EMR StarRocks 是新一代極速全場景 MPP 數據分析引擎，致力於構建極速統一分析體驗，滿足企業用戶的多種數據分析場景，支持多種數據模型，多種導入方式，可整合和接入多種現有系統（Spark、Flink、Hive 和 Elasticsearch）。同時兼容 MySQL協議，可使用 MySQL 客戶端和常用 BI 工具對接 StarRocks 來分析數據。

日前，阿里雲 E-MapReduce 與 StarRocks 社區合作，推出了首款 StarRocks 雲上產品。同時，面向新老用戶提供了99元指定機型（ecs.c6.xlarge）首月試用的優惠活動，歡迎感興趣的用戶前來測試。

(繼續閱讀...)

鑽石舞台發表在痞客邦留言(0) 人氣()