資料匯總：
偏向理論原理 方面
https://www.cnblogs.com/lit10050528/p/12178822.html
https://www.cnblogs.com/Ace-suiyuan008/p/9958331.html
https://blog.csdn.net/weixin_42633131/article/details/82873731
https://zhuanlan.zhihu.com/p/109578675
http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
Es 是一個(gè)專門做搜索的數(shù)據(jù)庫(kù)系統(tǒng)
Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器
4.4 Lucene际歼、Solr惶翻、Elasticsearch關(guān)系
Lucene：底層的API，工具包
Lucene資料
Solr：基于Lucene開發(fā)的企業(yè)級(jí)的搜索引擎產(chǎn)品
Elasticsearch：基于Lucene開發(fā)的企業(yè)級(jí)的搜索引擎產(chǎn)品
Solr 和Elasticsearch 是并列的兩種產(chǎn)品鹅心。
全文檢索：
計(jì)算機(jī)索引程序通過掃描文章中國(guó)呢的每一個(gè)詞吕粗，對(duì)每一個(gè)詞建立一個(gè)索引，并指明該詞在文章中出現(xiàn)的位置和次數(shù)旭愧，當(dāng)用戶查詢時(shí)颅筋，檢測(cè)程序就根據(jù)事先建立的索引進(jìn)行查找，并將查找的結(jié)果反饋給用戶的檢索方式 输枯。
lucene 全文檢索就是對(duì)文檔的全部?jī)?nèi)容進(jìn)行分詞议泵，然后對(duì)所有的單詞建立倒排索引的過程。
kibana 是es 客戶端
Kibana是一個(gè)針對(duì)Elasticsearch的開源分析及可視化平臺(tái)桃熄，用來搜索先口、查看交互存儲(chǔ)在Elasticsearch索引中的數(shù)據(jù)。使用Kibana瞳收，可以通過各種圖表進(jìn)行高級(jí)數(shù)據(jù)分析及展示碉京。
Kibana讓海量數(shù)據(jù)更容易理解。它操作簡(jiǎn)單缎讼，基于瀏覽器的用戶界面可以快速創(chuàng)建儀表板（dashboard）實(shí)時(shí)顯示Elasticsearch查詢動(dòng)態(tài)收夸。
- INDEX
Elastic 會(huì)索引所有字段坑匠，經(jīng)過處理后寫入一個(gè)反向索引（Inverted Index）血崭。查找數(shù)據(jù)的時(shí)候，直接查找該索引厘灼。
所以夹纫，Elastic 數(shù)據(jù)管理的頂層單位就叫做 Index（索引）。它是單個(gè)數(shù)據(jù)庫(kù)的同義詞设凹。每個(gè) Index （即數(shù)據(jù)庫(kù)）的名字必須是小寫舰讹。
-
Document
Index 里面單條的記錄稱為 Document（文檔）。許多條 Document 構(gòu)成了一個(gè) Index闪朱。
Document 使用 JSON 格式表示月匣，下面是一個(gè)例子。
image.png Type
Document 可以分組奋姿，比如weather這個(gè) Index 里面锄开，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）称诗。這種分組就叫做 Type萍悴，它是虛擬的邏輯分組，用來過濾 Document。
Elastic 6.x 版只允許每個(gè) Index 包含一個(gè) Type癣诱，7.x 版將會(huì)徹底移除 Type
類型（Type）
在 7.0 之前计维，每一個(gè)索引是可以設(shè)置多個(gè) Types 的，每個(gè) Type 會(huì)擁有相同結(jié)構(gòu)的文檔撕予，但是在 6.0 開始鲫惶，Type 已經(jīng)被廢除，在 7.0 開始实抡，一個(gè)索引只能創(chuàng)建一個(gè) Type剑按，也就是 _doc
安裝es 和kibana
參考資料
es 數(shù)據(jù)庫(kù)語法 （在kibana 客戶端的操作 ）
在這個(gè)之前需要再一次重新贅述一遍，
index 相當(dāng)于是數(shù)據(jù)庫(kù)澜术；
文檔 相當(dāng)于是一行數(shù)據(jù)艺蝴；
- 建立index
PUT /wangyd/
{
"settings":{
"index":{
"number_of_shards": 3,
"number_of_replicas": 0
}
}
"number_of_shards": 分片數(shù)
"number_of_replicas": 被分?jǐn)?shù)
wangyd是創(chuàng)建的索引名
也可以使用默認(rèn)配置
put wangyd
# 或者 put /wangyd/
結(jié)果執(zhí)行后為：
注意在7.0之后可以直接創(chuàng)建并添加文檔 ,用post
因?yàn)?版本之后，ES不再支持一個(gè)索引（index）可以創(chuàng)建多個(gè)類型（type）鸟废，所以cmcc/后邊不再需要寫入類型名稱猜敢，而是統(tǒng)一使用_create代替即可，同樣的盒延，查詢操作使用_doc代替即可缩擂，右側(cè)看到如下圖所示類似形式表示創(chuàng)建成功
- 刪除index
delete wangyd
# 或者delete /wangyd/
- 查看index 配置
GET /wangyd/_settings
- 增加文檔
put /lib/user/1
{
"first_name":"Jane",
"last_name":"Smith",
"age":32,
"about":"I like to collect rock albums",
"interests":["music"]
user為該文檔的類型
1是該文檔的id
也可不指定id，但需要使用post命令添寺，id會(huì)自動(dòng)生成 [!!!!!!!!!!]
post /lib/user
{
"first_name":"zhou",
"last_name":"Lucky",
"age":18,
"about":"I like to collect rock albums",
"interests":["music"]
- 更新文檔
1.直接覆蓋
PUT /lib/user/1
{
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 36,
"about" : "I like to collect rock albums",
"interests": [ "music" ]
}
2.只更新需要更新的字段(post)
POST /lib/user/1/_update
{
"doc":{
"age":33
}
- 查詢
- 按照條件查詢
-
1 或 邏輯（should）
image.png -
2 并邏輯 (must)
image.png -
3 范圍查詢并排序
image.png
更多查詢方法
https://zhuanlan.zhihu.com/p/46407263
- 6.條件刪除文檔
post lib/user/_delete_by_query
{
"query": {
"match": { "first_name": "zhou"}
}
利用類胯盯， elasticsearch-dsl 進(jìn)行存儲(chǔ)數(shù)據(jù)
from elasticsearch_dsl import connections
from datetime import datetime
from elasticsearch_dsl import Document, Date, Text,Float,Keyword
connections.create_connection(hosts=['ip:端口'], timeout=60)
class My_class(Document):
index_code = Keyword()
fund_code = Keyword()
fund_cname = Text()
update_time = Date()
class Index:
name = "name_fix-*"
settings = {
"number_of_shards": 2
}
def save(self, **kwargs):
# assign now if no timestamp given
if not self.update_time:
self.update_time = datetime.now()
# override the index to go to the proper timeslot
kwargs['index'] = self.update_time.strftime('name_fix-%Y%m%d')
return super().save(**kwargs)
使用方法 ：
- 在index 類中對(duì)name 聲明，即通過這種方式創(chuàng)建對(duì)index 的名稱都是name-fix- z作為前綴開始的计露。在save 的函數(shù)中博脑，kwargs['index'] = self.update_time.strftime('name_fix-%Y%m%d')是準(zhǔn)確的對(duì)index 進(jìn)行命名。
- 在kibana（es 的客戶端）中不需要類似sql 數(shù)據(jù)庫(kù)先建表票罐，然后再插入叉趣，這里在My_class 中聲明幾個(gè)變量后，可以直接創(chuàng)建并存入该押。
- 我們?cè)谑褂弥行枰獙?duì)My_class 中的幾個(gè)變量根據(jù)實(shí)際進(jìn)行修改疗杉。
問題匯總
空值 處理原則
空值的就不傳入進(jìn)去,參加python 的參數(shù) 章節(jié)第一次插入數(shù)據(jù)的時(shí)候會(huì)自動(dòng)初始化，在數(shù)據(jù)庫(kù)中建立index 蚕礼，但是有的行會(huì)沒有數(shù)據(jù)烟具，就導(dǎo)致建立的mapping 部分是沒有相應(yīng)的字段的 。所以解決方法是奠蹬，在插入數(shù)據(jù)之前先進(jìn)行初始化朝聋，建立mapping，然后再去插入值
# 1. create the mappings in elasticsearch
index_suffix = '2020'
index_name = DemoDoc._index._name[:-1] + index_suffix
if not indices_client.exists(index_name):
DemoDoc.init(index=index_name)
# 2. once, as part of application setup, during deploy/migrations:
# template用來查詢
template_name = 'strategy-doc-demo'
docTemplate = DemoDoc._index.as_template(template_name)
# 生成indexTemplate
if not indices_client.exists_index_template(template_name):
docTemplate.save()
# 3. 創(chuàng)建DemoDoc文檔
doc = DemoDoc(meta={'id': 43}, title='Hello world!', tags=['test'])
doc.body = ''' looong text '''
doc.published_from = datetime.now()
# 4.1 單個(gè)保存
doc.save()
