第一天注冊(cè)怎抛,記錄每天學(xué)到的小知識(shí)

計(jì)劃把每天學(xué)到的小知識(shí)記錄下來(lái)卑吭,就這樣吧

matlab:

如何加載.mat文件轉(zhuǎn)換為矩陣形式

S1 = load('IntBP1.mat');

BP1 = struct2cell(S1);

Mymat1 = cell2mat(BP1);

save Mymat1.mat Mymat1 -MAT
Mymat1就是矩陣形式了(S1是Struct Array 形式)。

      cell:創(chuàng)建空的元胞數(shù)組

      cellfun:為元胞數(shù)組的每個(gè)元胞執(zhí)行指定的函數(shù)

      celldisp:顯示所有元胞的內(nèi)容

      cellplot:利用圖形方式顯示元胞數(shù)組

      cell2mat:將元胞數(shù)組轉(zhuǎn)變成為普通的矩陣

      mat2cell:將數(shù)值矩陣轉(zhuǎn)變成為元胞數(shù)組

      num2cell:將數(shù)值數(shù)組轉(zhuǎn)變成為元胞數(shù)組

      deal:將輸入?yún)?shù)賦值給輸出

      cell2struct:將元胞數(shù)組轉(zhuǎn)變成為結(jié)構(gòu)

      struct2cell:將結(jié)構(gòu)轉(zhuǎn)變?yōu)樵麛?shù)組

      iscell:判斷輸入是否為元胞數(shù)組

爬蟲:

如果爬取的是動(dòng)態(tài)信息抽诉,比如需要加載陨簇,翻頁(yè)等的信息吐绵,在Network中找對(duì)應(yīng)的進(jìn)行爬取迹淌,利用requests,bs4己单,json等庫(kù)唉窃;如果爬取的是靜態(tài)信息,如小說(shuō)圖片纹笼,則在Element中爬取纹份,利用requests,bs4等庫(kù)廷痘。

動(dòng)態(tài)信息用requests.get爬到后得用json()方法將response對(duì)象變?yōu)榱斜?字典對(duì)象蔓涧,再用取字典中的值的方法取出想要的信息。

requests庫(kù)用來(lái)取得網(wǎng)址內(nèi)容笋额,返回response對(duì)象元暴,可以用text方法提取到文字內(nèi)容,也可以用content提取到二進(jìn)制文件兄猩,如圖片茉盏,音樂(lè)鉴未。

r.status_code #響應(yīng)狀態(tài)碼

r.raw #返回原始響應(yīng)體,也就是 urllib 的 response 對(duì)象鸠姨,使用 r.raw.read() 讀取

r.content #字節(jié)方式的響應(yīng)體铜秆,會(huì)自動(dòng)為你解碼 gzip 和 deflate 壓縮

r.text #字符串方式的響應(yīng)體,會(huì)自動(dòng)根據(jù)響應(yīng)頭部的字符編碼進(jìn)行解碼

r.headers #以字典對(duì)象存儲(chǔ)服務(wù)器響應(yīng)頭讶迁,但是這個(gè)字典比較特殊连茧,字典鍵不區(qū)分大小寫,若鍵不存在則返回None

特殊方法#

r.json() #Requests中內(nèi)置的JSON解碼器

r.raise_for_status() #失敗請(qǐng)求(非200響應(yīng))拋出異常

    bs4.BeautifulSoup可以用來(lái)解析requests.get得到的網(wǎng)址巍糯,雖然和.text方法print出的內(nèi)容看似一樣梅屉,但他們的類不同隧土,分別為<class 'str'> 與<class 'bs4.BeautifulSoup'>
import requests
from bs4 import BeautifulSoup
#引入BS庫(kù)
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
html = res.text
soup = BeautifulSoup(html,'html.parser') #把網(wǎng)頁(yè)解析為BeautifulSoup對(duì)象,BeautifulSoup中的第0個(gè)元素必須是字符串類型秽褒,第1個(gè)元素是解析器

一個(gè)常用的headers


headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

res=requests.get(url,headers=headers)

exec的用法
例子

x = 10
expr = """
z = 30
sum = x + y + z
print(sum)
"""
def func():
    y = 20
    exec(expr, {'x': 1, 'y': 2}, {'y': 3, 'z': 4})

func()
-----------------輸出為----------------
34

上面這一串相當(dāng)于

x = 1
y = 2

def func():
    y = 3
    z = 4
    
    z = 30
    sum = x + y + z
    print(sum)

func()

設(shè)計(jì)模式可以參考 https://blog.csdn.net/zhang1281480917/article/details/89530723

python的Template用法
  1. 字符串替換
template = "hello %s , your website  is %s " % ("大CC","http://blog.me115.com")
print(template)
#等價(jià)于
template = "hello {0} , your website  is {1} ".format("大CC","http://blog.me115.com")
print(template)
  1. 模板方式替換
from string import Template
tempTemplate = Template("Hello $name ,your website is $message") # 這種方式替換變量的標(biāo)志為$
print(tempTemplate.substitute(name='大CC',message='http://blog.me115.com'))
# 使用字典方式替換
from string import Template
tempTemplate = Template("Hello $name ,your website is $message") # 這種方式替換變量的標(biāo)志為$
a = {name:'大CC',message:'http://blog.me115.com'}
print(tempTemplate.substitute(a))

如果想換個(gè)替換方式的標(biāo)志塘砸,比如從$換為址愿!缀遍,可以這樣

from string import Template
class MyTemplate(Template):
    delimiter = "!"
tempTemplate = MyTemplate("Hello !name ,your website is !message") # 這種方式替換變量的標(biāo)志為!
a = {name:'大CC',message:'http://blog.me115.com'}
print(tempTemplate.substitute(a))
jsonpath的使用
  1. jsonpath取值不需要查看json數(shù)據(jù)醒串,直接通過(guò)..(..就表示全局檢索后面跟的屬性)
data2 = jsonpath.jsonpath(json_data, "$..uname")      # 全局搜索uname屬性帖鸦,如果沒(méi)有返回FALSE
print(data2)
  1. jsonpath是以列表的形式返回匹配到的值
reprstr區(qū)別
  • 重構(gòu)repr方法后易遣,不管直接輸出對(duì)象(面向開(kāi)發(fā)者)還是通過(guò)print(面向用戶)咱筛,打印的信息都按我們repr方法中定義的格式進(jìn)行顯示
class Name:
    def __init__(self,name):
        self.name = name
    def __repr__(self):
        return 'Name: %s' % self.name

student = Name('jack')
student
print(student)
------------輸出--------------
Name: jack
Name: jack
  • 重構(gòu)str后直接輸出對(duì)象(面向開(kāi)發(fā)者)顯示對(duì)象的內(nèi)存地址搓幌,使用print輸入對(duì)象顯示重構(gòu)后的格式
class Name:
    def __init__(self,name):
        self.name = name
    def __str__(self):
        return 'Name: %s' % self.name

student = Name('jack')
student
print(student)
-------------------輸出-------------------
<__main__.Name object at 0x0000020910CF0B20>
Name: jack
格式化時(shí)判斷
# 當(dāng)userid存在時(shí)拼接后面的格式化內(nèi)容,若不存在則不格式化{ userid and f' and userid={userid}'}
def sql(username, userid=""):
    print(f"select * from userinfo where username='{username}'{ userid and f' and userid={userid}'}")

sql("test")
sql("test", 1)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末迅箩,一起剝皮案震驚了整個(gè)濱河市溉愁,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌饲趋,老刑警劉巖拐揭,帶你破解...
    沈念sama閱讀 217,277評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異奕塑,居然都是意外死亡堂污,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門龄砰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)盟猖,“玉大人,你說(shuō)我怎么就攤上這事换棚∈礁洌” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 163,624評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵固蚤,是天一觀的道長(zhǎng)娘汞。 經(jīng)常有香客問(wèn)我,道長(zhǎng)颇蜡,這世上最難降的妖魔是什么价说? 我笑而不...
    開(kāi)封第一講書人閱讀 58,356評(píng)論 1 293
  • 正文 為了忘掉前任辆亏,我火速辦了婚禮,結(jié)果婚禮上鳖目,老公的妹妹穿的比我還像新娘扮叨。我一直安慰自己,他們只是感情好领迈,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布彻磁。 她就那樣靜靜地躺著,像睡著了一般狸捅。 火紅的嫁衣襯著肌膚如雪衷蜓。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,292評(píng)論 1 301
  • 那天尘喝,我揣著相機(jī)與錄音磁浇,去河邊找鬼。 笑死朽褪,一個(gè)胖子當(dāng)著我的面吹牛置吓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播缔赠,決...
    沈念sama閱讀 40,135評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼衍锚,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了嗤堰?” 一聲冷哼從身側(cè)響起戴质,我...
    開(kāi)封第一講書人閱讀 38,992評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎踢匣,沒(méi)想到半個(gè)月后告匠,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡符糊,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評(píng)論 3 334
  • 正文 我和宋清朗相戀三年凫海,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了呛凶。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片男娄。...
    茶點(diǎn)故事閱讀 39,785評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖漾稀,靈堂內(nèi)的尸體忽然破棺而出模闲,到底是詐尸還是另有隱情,我是刑警寧澤崭捍,帶...
    沈念sama閱讀 35,492評(píng)論 5 345
  • 正文 年R本政府宣布尸折,位于F島的核電站,受9級(jí)特大地震影響殷蛇,放射性物質(zhì)發(fā)生泄漏实夹。R本人自食惡果不足惜橄浓,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評(píng)論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望亮航。 院中可真熱鬧荸实,春花似錦、人聲如沸缴淋。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,723評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)重抖。三九已至露氮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間钟沛,已是汗流浹背畔规。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,858評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留恨统,地道東北人油讯。 一個(gè)月前我還...
    沈念sama閱讀 47,891評(píng)論 2 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像延欠,于是被迫代替她去往敵國(guó)和親陌兑。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • Requests快速上手 迫不及待了嗎由捎?本頁(yè)內(nèi)容為如何入門 Requests 提供了很好的指引兔综。其假設(shè)你已經(jīng)安裝了...
    小娟_bb93閱讀 1,469評(píng)論 0 3
  • Requests模塊 發(fā)送請(qǐng)求使用 Requests 發(fā)送網(wǎng)絡(luò)請(qǐng)求非常簡(jiǎn)單软驰。 一開(kāi)始要導(dǎo)入 Requests 模塊...
    Arvin__閱讀 4,222評(píng)論 4 17
  • 快速上手 迫不及待了嗎?本頁(yè)內(nèi)容為如何入門 Requests 提供了很好的指引心肪。其假設(shè)你已經(jīng)安裝了 Request...
    Aedda閱讀 640評(píng)論 0 0
  • 接口測(cè)試自動(dòng)化的優(yōu)點(diǎn): 1锭亏,web自動(dòng)化說(shuō)起來(lái)很多人都會(huì)直接想到UI自動(dòng)化這個(gè)設(shè)計(jì),很少有人直接第一個(gè)概念是接口自...
    路邊看雪的小男孩閱讀 4,917評(píng)論 1 26
  • 如果我是一只貓硬鞍,最好做一只流浪貓慧瘤。 我喜歡無(wú)拘無(wú)束,不喜歡被圈養(yǎng)在人口密集的城市里固该。否則锅减,春花開(kāi)的時(shí)候,我會(huì)想要找...
    檸楊閱讀 1,376評(píng)論 0 1