deepseek 算力支持 中科曙光 浪潮信息 潤澤科技 每日互動（與deepseek關(guān)系最深） 技術(shù)合作 航錦科技 拓爾思 科大訊飛 參股投資 浙江東方 華金資本 ASIC...
發(fā)簡信
IP屬地：上海
-
AI 產(chǎn)業(yè)鏈
-
@愿祖國早日統(tǒng)一 分區(qū)字段本身就是一個字段瑟俭，如果命名為已經(jīng)出現(xiàn)的字段陡鹃，字段名就重了，不會通過的∴叶螅可以用你想要分區(qū)的字段 as dt 來賦值
hive分區(qū)分桶
1.在hdfs目錄上拷肌，桶是以文件的形式存在的，而不是像分區(qū)那樣以文件夾的形式存在简逮。 2.直接load data不會有分桶的效果球散，這樣和不分桶一樣，在HDFS上只有一個文件散庶。 ...
-
hive map數(shù)的控制
背景：最近執(zhí)行一個 select count(*)蕉堰，發(fā)現(xiàn)mapreduce計算分片數(shù)很慢，且分片數(shù)的大小對不上 確定 hive 默認(rèn)開啟 map 任務(wù)前進(jìn)行合并小文件的設(shè)置：...
-
計算機(jī)核數(shù)查看背景：對計算機(jī)核數(shù)比較模糊悲龟，整理了解 查看方法 我的電腦->屬性->設(shè)備管理器->處理器屋讶，有多少個，就代表多少核image.png如圖须教，即為12核皿渗，可以12個線程并行 任務(wù)管...
-
hive 外部表映射 es
背景：公司有需求將hive數(shù)據(jù)導(dǎo)入es斩芭，之前是通過datax進(jìn)行導(dǎo)數(shù)的；但是datax多線程很耗內(nèi)存乐疆，并且經(jīng)常性會出現(xiàn)一些程序上的問題划乖。故想要使用hive外部表映射es的方式...
-
Linux完全卸載某應(yīng)用
背景：這兩天安裝cdh，重新溫習(xí)了下linux的使用挤土，關(guān)于卸載應(yīng)用琴庵，特記錄 強(qiáng)制刪除已安裝程序及其關(guān)聯(lián)：rpm -qa|grep python|xargs rpm -ev -...
-
centos6 啟動cloudera-scm-agent失敗
背景：最近準(zhǔn)備在自己的虛擬機(jī)上搭一個cdh的集群，在啟動cloudera-scm-agent失敗排查思路： 進(jìn)去log日志查看報錯信息：/usr/bin/env: pytho...
-
windows10/windows11 簡繁體切換
背景： 最近電腦突然不知怎么的仰美，輸入法由簡體轉(zhuǎn)為繁體细卧，并且不知如何更改 使用 ctrl+shift+f可進(jìn)行簡繁體切換 在使用idea時ctrl+shift+f沒出現(xiàn)查詢窗口...
-
datax從hive往es中導(dǎo)數(shù)報錯：One or more of the items in the Bulk request failed, check BulkResult.getItems...
背景：公司數(shù)據(jù)涉及到從hive往es中導(dǎo)數(shù)，使用datax來進(jìn)行抽取 報錯：One or more of the items in the Bulk request fail...
-
對于hql中拼接字符串的函數(shù)使用
背景：在工作過程中筒占，一直經(jīng)常性接觸到hql拼接字符串的工作內(nèi)容贪庙，但每次都是最常規(guī)的拼接，效率并不高翰苫。故調(diào)研發(fā)現(xiàn)hive早已提供相關(guān)函數(shù)進(jìn)行更簡便處理止邮。 named_struc...
-
hql日期函數(shù)
背景： 工作中多次使用到hql的時間轉(zhuǎn)換，但一直未記錄相關(guān)文檔奏窑，每次查找都十分麻煩导披，故文檔記錄方便下次使用。 查找 hive 自帶函數(shù) 展示hive內(nèi)置的所有函數(shù)show f...
-
HBase_learning
hbase shell 語句 hbase 查詢結(jié)果顯示中文HBase 查詢出來的數(shù)據(jù)埃唯，中文顯示為十六進(jìn)制亂碼get 'namespacedemo:tabledemo','11...
-
Spark學(xué)習(xí)
spark入門 1. spark和hadoop的區(qū)別 Hadoop主要解決撩匕，海量數(shù)據(jù)的存儲和海量數(shù)據(jù)的分析計算 Spark是一種基于內(nèi)存的快速、通用墨叛、可擴(kuò)展的大數(shù)據(jù)分析計算引...
-
notepad++/vim輸入特殊字符
notepad++ Edit(編輯)->Character Panel(字符版)選擇你需要的特殊字符 vim 1. 想要輸入\u0001止毕，則需輸入 ctrl+v+a2. 想要...
-
Hql中正則表達(dá)式的使用
字符匹配規(guī)則[aeiou]匹配字符串 "google runoob taobao" 中所有的 e o u a 字母[^aeiou]匹配字符串 "google runoob t...
-
Neo4j Cypher學(xué)習(xí)
1.節(jié)點(diǎn)創(chuàng)建 2.查詢數(shù)據(jù) 3.創(chuàng)建更多數(shù)據(jù) 4.通過關(guān)系找數(shù)據(jù) 5.通過節(jié)點(diǎn)屬性找數(shù)據(jù) 6.間隔節(jié)點(diǎn)找數(shù)據(jù) 7.根據(jù)不同條件過濾數(shù)據(jù) 8.匹配所有數(shù)據(jù) 9.刪除所有數(shù)據(jù) 1...
-
java學(xué)習(xí)
jdk,jre的區(qū)別 JDK(Java Development Kit Java開發(fā)工具包) JRE(Java Runtime Environment Java運(yùn)...