第一章 發(fā)展背景
當(dāng)今,世界無時無刻不在發(fā)生著變化。對于技術(shù)領(lǐng)域而言劳较,普遍存在的一個巨大變化就是為大數(shù)據(jù)(Big data)打開了大門。隨著國家大數(shù)據(jù)戰(zhàn)略推進實施以及配套政策的貫徹落實浩聋,大數(shù)據(jù)產(chǎn)業(yè)發(fā)展環(huán)境進一步優(yōu)化观蜗,社會經(jīng)濟各領(lǐng)域?qū)Υ髷?shù)據(jù)服務(wù)需求進一步增強,大數(shù)據(jù)的新技術(shù)衣洁、新業(yè)態(tài)嫂便、新模式不斷涌現(xiàn)抑月,產(chǎn)業(yè)規(guī)模持續(xù)保持高速增長態(tài)勢茬底。并且,隨著高校獲準(zhǔn)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè),大數(shù)據(jù)需要的復(fù)合型人才將源源不斷形成僻澎。加之海外和傳統(tǒng)行業(yè)跨界人才不斷加入大數(shù)據(jù)行業(yè)庆猫,大數(shù)據(jù)產(chǎn)業(yè)將迎來創(chuàng)新發(fā)展停局。
大數(shù)據(jù)時代的來臨加快了人工智能應(yīng)用的發(fā)展稚茅,隨著大數(shù)據(jù)的應(yīng)用,以及計算機算力的大幅提升袱院,深度學(xué)習(xí)進一步提升和完善的需要得到了滿足屎慢,數(shù)據(jù)驅(qū)動的人工智能時代已經(jīng)到來,人工智能發(fā)展進入新階段忽洛。當(dāng)前腻惠,新一代人工智能相關(guān)學(xué)科發(fā)展、理論建模欲虚、技術(shù)創(chuàng)新集灌、軟硬件升級等整體推進,正在引發(fā)鏈?zhǔn)酵黄聘炊撸苿咏?jīng)濟社會各領(lǐng)域從數(shù)字化欣喧、網(wǎng)絡(luò)化向智能化加速躍升,數(shù)據(jù)科學(xué)與人工智能的結(jié)合越來越緊密梯找。
大數(shù)據(jù)及人工智能成為國際競爭的新焦點唆阿,是引領(lǐng)未來的戰(zhàn)略性技術(shù),世界主要發(fā)達國家把大數(shù)據(jù)锈锤、人工智能的發(fā)展作為提升國家競爭力驯鳖、維護國家安全的重大戰(zhàn)略,加緊出臺規(guī)劃和政策久免,圍繞核心技術(shù)臼隔、頂尖人才、標(biāo)準(zhǔn)規(guī)范等強化部署妄壶,力圖在新一輪國際科技競爭中掌握主導(dǎo)權(quán)。當(dāng)前寄狼,我國國家安全和國際競爭形勢更加復(fù)雜丁寄,必須放眼全球,把大數(shù)據(jù)及人工智能發(fā)展放在國家戰(zhàn)略層面系統(tǒng)布局泊愧、主動謀劃伊磺,牢牢把握新階段大數(shù)據(jù)及人工智能國際競爭的戰(zhàn)略主動,打造競爭新優(yōu)勢删咱、開拓發(fā)展新空間屑埋,有效保障國家安全。
第二章 方案平臺優(yōu)勢
2.1. 方案優(yōu)勢
基于云模式的智慧教育人工智能教學(xué)實訓(xùn)平臺的設(shè)計全面落實“產(chǎn)痰滋、學(xué)摘能、用续崖、監(jiān)、評”一體化的思想和模式团搞,從教學(xué)严望、實踐、使用逻恐、監(jiān)控像吻、評估等多方面注重專業(yè)人才和特色人才的培養(yǎng)。學(xué)生可以通過在教學(xué)平臺的學(xué)習(xí)熟練掌握人工智能的基礎(chǔ)知識,通過掌握的知識在人工智能課程實驗中進行動手實踐复隆。
本實訓(xùn)系統(tǒng)平臺方案融合操作系統(tǒng)拨匆、數(shù)據(jù)庫、編程語言挽拂、Python數(shù)據(jù)處理惭每、人工智能等課程,人工智能領(lǐng)域涉及深度學(xué)習(xí)轻局、機器學(xué)習(xí)洪鸭、深度學(xué)習(xí)、自然語言處理仑扑、計算機視覺等諸多方面览爵,課程類型包括基礎(chǔ)實訓(xùn)、關(guān)鍵技術(shù)掌握镇饮、應(yīng)用創(chuàng)新等等各層次實踐教學(xué)蜓竹。從面向人工智能行業(yè)的需求、促進學(xué)生職業(yè)發(fā)展的角度储藐,規(guī)劃建設(shè)基于云模式的人工智能教學(xué)實訓(xùn)平臺俱济,真正在產(chǎn)業(yè)、學(xué)校及實際項目中相互配合钙勃,發(fā)揮優(yōu)勢蛛碌,形成生產(chǎn)、學(xué)習(xí)辖源、實踐蔚携、運用、監(jiān)控克饶、評估的系統(tǒng)運作模式酝蜒,從而建設(shè)大數(shù)據(jù)及人工智能特色專業(yè)。
利用虛擬化教學(xué)資源矾湃,搭建實訓(xùn)實戰(zhàn)平臺亡脑,將理論學(xué)習(xí)、實踐教學(xué)和大數(shù)據(jù)及人工智能搭建、挖掘霉咨、存儲蛙紫、分析實戰(zhàn)融為一體,從易到難躯护、循序漸進惊来,逐步提升學(xué)生的學(xué)習(xí)技能和實踐水平,提高“學(xué)”的質(zhì)量和成效棺滞。定制專業(yè)化技能評估與教學(xué)監(jiān)控功能裁蚁,將學(xué)生的學(xué)習(xí)情況、專業(yè)喜好继准、適用崗位形成報告模版枉证。秉承著“精準(zhǔn)、先進移必、創(chuàng)新”的原則室谚,實時監(jiān)控學(xué)生操作,分析學(xué)習(xí)情況崔泵,評估學(xué)生知識水平秒赤,從而減輕學(xué)校及教師的壓力。
2.2. 系統(tǒng)優(yōu)勢
人工智能教學(xué)實訓(xùn)平臺基于開源的Docker環(huán)境憎瘸,構(gòu)建硬件虛擬化設(shè)備入篮,并基于同樣開源的Kubernetes架構(gòu),實現(xiàn)GPU集群設(shè)備的自動管理和調(diào)度幌甘,以Yarn為核心潮售,構(gòu)建了資源管理系統(tǒng),實現(xiàn)計算任務(wù)的智能調(diào)度與沖突協(xié)調(diào)锅风。一個基礎(chǔ)平臺的生命力酥诽,有賴于系統(tǒng)的基礎(chǔ)支撐能力與對外服務(wù)能力。在面向人工智能計算需求的建設(shè)開發(fā)上皱埠,必須要考慮如何開發(fā)組織系統(tǒng)對外服務(wù)的能力肮帐。而人工智能研發(fā)需求的兩個基本要素就是計算和數(shù)據(jù)。因此边器,本系統(tǒng)也著眼于組建基礎(chǔ)計算能力和基礎(chǔ)數(shù)據(jù)處理能力训枢。在計算能力建設(shè)中,系統(tǒng)將傳統(tǒng)人工智能計算方法與計算模型饰抒、當(dāng)前流行的人工智能計算模型與框架,完美地融入了整個系統(tǒng)的計算模塊中诀黍,并且與底層的硬件管理與計算資源的調(diào)度袋坑,完美地結(jié)合在一起。在數(shù)據(jù)能力的建設(shè)中,系統(tǒng)將自建一套以非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)記清洗枣宫,結(jié)構(gòu)化數(shù)據(jù)的清洗為主要內(nèi)容的數(shù)據(jù)處理系統(tǒng)婆誓。
在系統(tǒng)底層硬件管理上,支持CPU也颤、GPU洋幻、FPGA、ASIC等通用或?qū)S糜嬎阌布崛ⅲ瑢崿F(xiàn)對主流計算硬件的即插即用文留。在計算集群的設(shè)置上,往往也是分布式的竭沫,計算集群可以分布在不同機房中燥翅,不受空間限制,是人工智能教學(xué)實訓(xùn)平臺在底層硬件管理上的特點蜕提。
在系統(tǒng)最核心的調(diào)度算法上森书,通過系統(tǒng)自身構(gòu)建的智能化調(diào)度策略,針對不同的計算框架和機器學(xué)習(xí)方法谎势,系統(tǒng)自動分配相應(yīng)的計算資源凛膏,包括處理器數(shù)量、內(nèi)存數(shù)量脏榆,使計算請求與計算資源的使用達到最優(yōu)匹配猖毫,提高計算資源的利用效率,降低單位時間的運行成本姐霍。同時鄙麦,當(dāng)用戶發(fā)起計算請求時,系統(tǒng)會根據(jù)用戶距離計算中心的“距離”,自動將用戶的請求適配到距離用戶最近的計算集群上镊折,以便用戶可以更快速地獲取計算結(jié)果胯府,提升用戶的計算體驗。
在教學(xué)管理方面恨胚,平臺自帶人工智能課程推薦功能骂因,可為學(xué)生提供個性化課程推薦及AI課程助手,助力學(xué)生定向就業(yè)赃泡。還可以通過大數(shù)據(jù)分析寒波,自動生成學(xué)業(yè)報告,為學(xué)生就業(yè)提供橋梁升熊,并作為教師教學(xué)的得力助手俄烁,為高校的學(xué)生能力培養(yǎng)及教師的工作提供強有力的支持。
第三章 教學(xué)實訓(xùn)平臺
人工智能教學(xué)實訓(xùn)平臺的建設(shè)采用B/S架構(gòu)级野,用戶通過瀏覽器進行訪問页屠,且支持內(nèi)網(wǎng)與外網(wǎng)同時訪問。平臺的管理功能是針對前端系統(tǒng)設(shè)置的對應(yīng)的管理功能,便于教學(xué)過程中對前端系統(tǒng)的自定義管理辰企。系統(tǒng)課程學(xué)習(xí)模式包括實驗平臺风纠、項目路徑和職業(yè)路徑,滿足不同場景的教學(xué)需求牢贸。在教學(xué)管理方面竹观,平臺自帶人工智能課程推薦功能,可為學(xué)生提供個性化課程推薦及AI課程助手潜索,助力學(xué)生定向就業(yè)臭增。還可以通過大數(shù)據(jù)分析,自動生成學(xué)業(yè)報告帮辟,為學(xué)生就業(yè)提供橋梁速址,并作為教師教學(xué)的得力助手,為高校的學(xué)生能力培養(yǎng)及教師的工作提供強有力的支持由驹。
實訓(xùn)平臺采用私有云模式芍锚,所有課程均在云端進行,自主研發(fā)設(shè)計的教學(xué)平臺可將硬件資源進行集中調(diào)度分配蔓榄,可管理大規(guī)模CPU并炮、GPU、FPGA等高性能分布式計算集群甥郑,利用容器技術(shù)對計算資源進行虛擬化逃魄,以智能調(diào)度的方式對外提供計算服務(wù),并依托開源分布式計算框架和深度學(xué)習(xí)框架澜搅,支持訓(xùn)練伍俘、推理,支持CNN勉躺、RNN等各種類型的網(wǎng)絡(luò)模型癌瘾,支持Xgboost等傳統(tǒng)機器學(xué)習(xí)模型,適合大數(shù)據(jù)饵溅、人工智能妨退、深度計算;課程內(nèi)容涵蓋操作系統(tǒng)蜕企、編程語言咬荷、Python數(shù)據(jù)處理、機器學(xué)習(xí)轻掩、數(shù)據(jù)分析幸乒、數(shù)據(jù)挖掘、深度學(xué)習(xí)唇牧、計算機視覺罕扎、自然語言處理等諸多方面基茵,課程類型包括基礎(chǔ)實訓(xùn)、關(guān)鍵技術(shù)掌握壳影、應(yīng)用創(chuàng)新等,是一個綜合性的學(xué)習(xí)研究平臺弥臼;平臺配合專用的資源監(jiān)控系統(tǒng)宴咧、課程監(jiān)控系統(tǒng),可實時的監(jiān)控整個平臺的硬件資源負載以及學(xué)生學(xué)習(xí)的狀態(tài)径缅,可幫助教師合理的安排課程及對應(yīng)資源掺栅。
3.1. 學(xué)習(xí)模式
3.1.1. 實驗平臺
該模式以知識體系為核心,將人工智能內(nèi)容按照不同類型的知識模塊進行分類纳猪。體系下包含了:操作系統(tǒng)氧卧、編程語言、Python數(shù)據(jù)處理氏堤、機器學(xué)習(xí)沙绝、數(shù)據(jù)分析、數(shù)據(jù)挖掘鼠锈、深度學(xué)習(xí)闪檬、計算機視覺、自然語言處理等諸多方面购笆,該模式圍繞一個內(nèi)容展開了多方面知識的學(xué)習(xí)粗悯,與現(xiàn)在教育方式一致,保留了師生們傳統(tǒng)的學(xué)習(xí)授課方法同欠。不僅如此样傍,為滿足學(xué)校的已有的課程教學(xué)資源,老師可以自定義實驗內(nèi)容及實驗鏡像铺遂,將文本類衫哥、實操類、視頻類課程上傳到教學(xué)平臺上滿足教學(xué)需求娃循。
實驗平臺
3.2. 練習(xí)算法
3.2.1. 算法集
算法集提供了一個環(huán)境炕檩,用戶可以在里面寫代碼、運行代碼捌斧、查看結(jié)果笛质,并在其中可視化數(shù)據(jù),并與平臺中的數(shù)據(jù)集功能進行交互式使用捞蚂,可直接調(diào)用平臺當(dāng)中的數(shù)據(jù)集用于算法在實際數(shù)據(jù)中的實踐測試妇押。鑒于這些優(yōu)點,它能幫助他們便捷地執(zhí)行各種端到端任務(wù)姓迅,如數(shù)據(jù)清洗敲霍、統(tǒng)計建模俊马、構(gòu)建/訓(xùn)練機器學(xué)習(xí)模型等。
算法集的一個特色是允許把代碼寫入獨立的cell中肩杈,然后單獨執(zhí)行柴我。這樣做意味著用戶可以在測試項目時單獨測試特定代碼塊,無需從頭開始執(zhí)行代碼扩然。雖然其他的IDE環(huán)境(如RStudio)也提供了這種功能艘儒,但就個人使用情況來看,算法集的單元結(jié)構(gòu)是設(shè)計的最好的夫偶。
算法集的優(yōu)勢還體現(xiàn)在靈活性和交互性上界睁,除了最基礎(chǔ)的Python,它還允許用戶在上面運行R語言兵拢。由于它比IDE平臺更具交互性翻斟,教師也更樂于在各種教程中用它來展示代碼。
3.2.2. 數(shù)據(jù)集
數(shù)據(jù)集功能提供數(shù)量眾多的數(shù)據(jù)集说铃,包括互聯(lián)網(wǎng)访惜、零售、電商腻扇、醫(yī)療等相關(guān)數(shù)據(jù)集疾牲,數(shù)據(jù)集中的數(shù)據(jù)可直接與算法集中的算法進行交互使用,為算法提供所需數(shù)據(jù)的調(diào)用支撐衙解。
教師可根據(jù)數(shù)據(jù)集的內(nèi)容阳柔、格式、數(shù)量等為學(xué)生設(shè)定開放式課題蚓峦,使用真實的數(shù)據(jù)集進行大數(shù)據(jù)舌剂、人工智能項目案例處理分析,深度理解掌握如何處理這些數(shù)據(jù)暑椰,例如霍转,教師給定一份數(shù)據(jù)讓學(xué)生進行預(yù)測實驗,學(xué)生需設(shè)計算法進行清洗與預(yù)測等一汽。
平臺提供開放式上傳功能避消,支持用戶將自己的數(shù)據(jù)上傳至平臺當(dāng)中,并可設(shè)定是否與他人共用召夹,可幫助用戶解決數(shù)據(jù)存放管理問題岩喷,實現(xiàn)用戶數(shù)據(jù)的開放式共享。
3.3. 在線考試
3.3.1. 理論考核
理論考核采用在線考核模式监憎,將單選題纱意、多選題、判斷題鲸阔、填空題偷霉、簡答題添加在試卷上迄委,每一道題的題目、正選类少、分值等內(nèi)容可由管理員自行設(shè)置叙身,簡答題題采用關(guān)鍵詞進行自動判分,同時也可以由教師手動判分硫狞。
理論考核
3.3.2. 實踐測評
實踐測評考核模式是以實驗操作過程為考核點曲梗,也稱之為實操題考核模式,由教師在管理端設(shè)置考核步驟妓忍、分值權(quán)重,平臺提供配套的實驗考試環(huán)境愧旦。學(xué)生在實際操作過程中遇到的考核點世剖,需要根據(jù)實際結(jié)果去填寫,到最后統(tǒng)一匯總分數(shù)笤虫。該模式突破了傳統(tǒng)的考核模式旁瘫,通過實操的方式來加深印象,鞏固知識琼蚯。
實踐測評
3.4. 智能教務(wù)
3.4.1. 教學(xué)進度分析
課程實驗具有核全局開關(guān)功能酬凳,打開全局考核后,進行所有實驗時都必須完成實驗當(dāng)中設(shè)定的每一步考核才能查看下一步遭庶。接著宁仔,系統(tǒng)不僅自動檢測到正在進行實驗,也可以手動設(shè)定實驗狀態(tài)分析(也可以手動設(shè)置分析目標(biāo))峦睡。查看分析結(jié)果時可查看每個班級的學(xué)生在進行每個實驗時完成度翎苫,查看每個實驗的每個步驟的通過率、完成率榨了、完成進度煎谍、實驗總結(jié)信息等。
教學(xué)進度分析功能可通過智能化的手段龙屉,有效幫助教師分析并掌握整個班級的學(xué)習(xí)情況呐粘,根據(jù)學(xué)生完成實驗的進度過程進行授課,選擇重點難點部分進行針對性講解转捕,有效降低教師授課壓力作岖,高效完成授課任務(wù)。
教學(xué)分析
3.4.2. 教學(xué)計劃管理
管理員在后臺可以一次性布置全部的教學(xué)計劃五芝,規(guī)定上課時間與學(xué)習(xí)課程鳍咱,隨后學(xué)生通過在前端查看,即可了解到每一天的課程安排与柑。
3.4.3. 實驗報告管理
教師通過此功能查看學(xué)生的實驗報告谤辜,支持預(yù)覽和批閱等功能蓄坏,后臺自動統(tǒng)計學(xué)生學(xué)習(xí)數(shù)據(jù),展示出每個步驟的學(xué)習(xí)通過時間丑念、成績正確率涡戳、班級排名等信息,并將實驗數(shù)據(jù)與學(xué)生的實驗報告有機結(jié)合脯倚,形成完成的實驗報告渔彰。此功能相較于傳統(tǒng)的實驗報告,增加了學(xué)生的學(xué)習(xí)數(shù)據(jù)統(tǒng)計功能推正,可大大的減輕教師的負擔(dān)恍涂,同時為教師了解班級整體的學(xué)習(xí)狀況提供的有力的支持。
3.5. 平臺管理
3.5.1. 用戶管理
為滿足教師方便的管理班級學(xué)院植榕,平臺提供用戶組織管理功能再沧。其中用戶管理顯示平臺用戶的信息列表,管理端可對平臺用戶信息進行編輯與刪除尊残,包含根據(jù)組織炒瘸、專業(yè)、班級寝衫、姓名等信息進行用戶模糊篩選顷扩,便于管理平臺用戶;角色管理顯示平臺現(xiàn)有角色慰毅,用戶可編輯新的角色并賦予角色權(quán)限隘截;組織結(jié)構(gòu)管理顯示平臺現(xiàn)有的組織機構(gòu),管理端可以也可根據(jù)層級分步添加組織汹胃、學(xué)院技俐、系別、專業(yè)统台、班級雕擂,對同級別下的機構(gòu)進行排序。
3.5.2. 資源管理
用戶可以在此查看版本信息贱勃、用戶數(shù)量井赌、實驗數(shù)量,資源監(jiān)控及用戶虛擬機監(jiān)控贵扰。同時后臺資源監(jiān)控中心可查看平臺的用戶數(shù)量仇穗、實驗數(shù)量、職業(yè)路徑數(shù)量戚绕、項目路徑數(shù)量纹坐、算法集數(shù)量、數(shù)據(jù)集數(shù)量舞丛、用戶分布耘子、活躍用戶等數(shù)據(jù)果漾;實時的CPU、內(nèi)存谷誓、硬盤绒障、實例的使用情況和該時刻學(xué)生實驗進行的狀態(tài);可對虛擬機進行監(jiān)控所處的實驗環(huán)境捍歪、創(chuàng)建位置户辱、用戶姓名、創(chuàng)建時間時間以及開啟和關(guān)閉的狀態(tài)糙臼。該功能的實現(xiàn)可便捷精準(zhǔn)的反應(yīng)出學(xué)生的問題所在庐镐,可對實驗平臺進行實時狀態(tài)的查看,又同時提高了老師的教學(xué)質(zhì)量和效率变逃。
3.5.3. 系統(tǒng)管理
郵件系統(tǒng)配置是為了減輕管理端的任務(wù)負擔(dān)必逆,配置好郵件系統(tǒng)之后,學(xué)生在忘記登陸密碼之后可以通過郵件找回密碼韧献。
第四章 紅亞教學(xué)資源
4.1. 人工智能基礎(chǔ)課程資源
4.1.1. Linux基礎(chǔ)
Linux系統(tǒng)是開源軟件,其可靠性得到肯定研叫,是當(dāng)今舉世矚目锤窑、發(fā)展最快、應(yīng)用最廣的主流軟件之一嚷炉。在服務(wù)器平臺渊啰、嵌入式系統(tǒng)和云計算系統(tǒng)所運行的操作系統(tǒng)中,Linux占很大比重申屹。大數(shù)據(jù)主流框架Hadoop绘证、Spark都架設(shè)在Linux系統(tǒng)上,所以現(xiàn)在學(xué)習(xí)和應(yīng)用Linux成為眾多用戶和學(xué)生的首選哗讥。
Linux基礎(chǔ) Linux基礎(chǔ) Linux系統(tǒng)概述 Linux簡介
Linux應(yīng)用領(lǐng)域
Linux優(yōu)勢
字符操作環(huán)境 使用Shell
字符編輯器VI
Linux文件系統(tǒng) Linux文件
ext3文件系統(tǒng)
安裝和卸載文件系統(tǒng)
進程管理 Linux進程概述
進程控制命令
常用命令介紹 目錄操作
文件操作
磁盤操作
文本編輯
幫助命令
用戶管理 Linux用戶賬戶概述
管理用戶和群組
命令行配置
用戶管理器配置
系統(tǒng)監(jiān)控與備份 顯示系統(tǒng)進程
查看硬件信息
查看日志文件
數(shù)據(jù)備份與恢復(fù)
軟件包管理 RPM概述
RPM包的命令介紹
查看軟件包(檢查軟件包簽名)
軟件包管理工具
管理網(wǎng)絡(luò)服務(wù) 守護進程服務(wù)
配置FTP服務(wù)
配置郵件服務(wù)器
Apache服務(wù)器
4.1.2. 編程基礎(chǔ)
編程基礎(chǔ)包含Python基礎(chǔ)嚷那、R語言基礎(chǔ)、Scala基礎(chǔ)和Java基礎(chǔ)四大模塊共計82個實驗項目杆煞。針對每一個所講解的知識點都進行了深入分析魏宽,并使用生動形象的情境化舉例,將原本復(fù)雜的决乎、難于理解的知識點和問題進行簡化队询,針對每個知識點,精心設(shè)計了相應(yīng)的問題构诚,讓學(xué)習(xí)者不但能掌握和理解這些知識點蚌斩,并且還可以清楚地知道在實際工作中如何去運用。
編程基礎(chǔ) Python基礎(chǔ) Python基礎(chǔ) Python介紹
Python開發(fā)環(huán)境搭建
Python基本數(shù)據(jù)類型
Python變量
Python基本輸入輸出
Python模塊
Python運算符與表達式
Python選擇與循環(huán)結(jié)構(gòu)
Python序列操作
Python列表常用方法
Python元組
Python列表解析式與生成器表達式
Python字符編碼
Python字符串基本操作
Python字符串格式化
Python字符串方法
Python正則表達式與re模塊
Python字典創(chuàng)建與使用
Python字典方法
Python集合創(chuàng)建與使用
Python集合常用運算
Python文件基本概念
Python打開與關(guān)閉文件
Python文件對象基本方法
Python數(shù)據(jù)序列化與反序列化
Python文件與文件夾基本操作
Python函數(shù)的定義和調(diào)用
Python函數(shù)參數(shù)
Python變量作用域
Python函數(shù)返回值
Python函數(shù)嵌套定義范嘱、閉包送膳、裝飾器
Python類的定義和使用
Python構(gòu)造方法與析構(gòu)方法
Python成員訪問權(quán)限
Python繼承
Python異常概念與常見表現(xiàn)形式
Python常見異常處理結(jié)構(gòu)
Python的raise語句
R語言基礎(chǔ) R語言基礎(chǔ) R語言開發(fā)環(huán)境搭建
R語言對象與屬性
R語言向量
R語言矩陣和數(shù)組
R語言列表
R語言數(shù)據(jù)框
R語言構(gòu)建子集
lapply函數(shù)
apply函數(shù)
mapply函數(shù)
split函數(shù)
tapply函數(shù)
R語言重復(fù)值處理
R語言排序
Scala基礎(chǔ) Scala基礎(chǔ) Scala開發(fā)環(huán)境搭建
Scala控制結(jié)構(gòu)和函數(shù)
Scala數(shù)組相關(guān)操作
Scala映射與元組
Scala類與對象
Scala包管理
Scala繼承
Scala文件和正則表達式
Scala特質(zhì)
Scala運算符(原本為scala操作符)
Scala高階函數(shù)
Scala集合
Scala模式匹配和樣例類
Scala類型參數(shù)
Scala高級類型
Scala隱式轉(zhuǎn)換和隱式參數(shù)
Java基礎(chǔ) Java基礎(chǔ) Java開發(fā)環(huán)境搭建
Java的類和對象
Java標(biāo)識符员魏、關(guān)鍵字與運算符
Java基本數(shù)據(jù)類型
Java流程控制
Java繼承與多態(tài)
Java抽象類與接口
Java內(nèi)部類
Java異常處理
Java集合類
Java基礎(chǔ)類庫
Java泛型
Java的輸入與輸出
Java數(shù)據(jù)庫操作
4.1.3. 數(shù)學(xué)基礎(chǔ)
數(shù)字在數(shù)學(xué)體系中穩(wěn)固的位置,而大數(shù)據(jù)技術(shù)也和數(shù)學(xué)緊緊地結(jié)合在一起肠缨。數(shù)學(xué)基礎(chǔ)共計信息論逆趋、線性代數(shù)、概率論與數(shù)理統(tǒng)計晒奕、數(shù)值計算和最優(yōu)化方法五大模塊30個教學(xué)項目闻书。大數(shù)據(jù)技術(shù)本身是一門交叉性學(xué)科,統(tǒng)計方法為核心脑慧,所以學(xué)習(xí)數(shù)學(xué)基礎(chǔ)就顯得尤為重要魄眉。
數(shù)學(xué)基礎(chǔ) 信息論 信息論 熵
聯(lián)合熵
條件熵
相對熵
互信息
最大熵模型
線性代數(shù) 線性代數(shù) 標(biāo)量
向量
張量
范數(shù)
矩陣
特征分解
幾種常用距離計算
概率論與數(shù)理統(tǒng)計 概率論與數(shù)理統(tǒng)計 隨機變量
概率分布
貝葉斯公式
期望
方差
協(xié)方差
常見分布函數(shù)
最大似然估計
數(shù)值計算 數(shù)值計算 數(shù)值計算概述
上溢和下溢
計算復(fù)雜性與NP問題
最優(yōu)化方法 最優(yōu)化方法 最優(yōu)化理論概述
最優(yōu)化問題的數(shù)學(xué)描述
凸集與凸集分離方法
梯度下降算法
啟發(fā)式優(yōu)化方法
牛頓法和擬牛頓法
4.1.4. 數(shù)據(jù)庫基礎(chǔ)
數(shù)據(jù)庫已是當(dāng)今信息社會須臾不可脫離的重要工具逞姿,數(shù)據(jù)庫的教學(xué)也就成為計算機科學(xué)與技術(shù)專業(yè)的一門必修課程队腐。在大數(shù)據(jù)技術(shù)中,數(shù)據(jù)倉庫的搭建離不開傳統(tǒng)數(shù)據(jù)庫的支持伯襟,所以囊骤,學(xué)習(xí)數(shù)據(jù)庫基礎(chǔ)是為大數(shù)據(jù)的存儲做準(zhǔn)備晃择。
數(shù)據(jù)庫基礎(chǔ) excel Excle Excel函數(shù)與公式
Excel數(shù)據(jù)統(tǒng)計與匯總
VBA程序基礎(chǔ)
VBA數(shù)據(jù)類型
VBA流程控制
VBA綜合應(yīng)用
mysql Mysql MySQL簡介與安裝
MySQL創(chuàng)建連接
MySQL操作數(shù)據(jù)庫
MySQL操作數(shù)據(jù)表
MySQL操作數(shù)據(jù)
MySQL條件限定與正則表達式
MySQL表的連接
MySQL排序、分組與過濾
MySQL結(jié)果合并
MySQL函數(shù)
MySQL導(dǎo)入與導(dǎo)出
oracle Oracle Oracle安裝與卸載
Oracle數(shù)據(jù)類型(文本)
表的創(chuàng)建與管理
簡單查詢
單行函數(shù)
分組統(tǒng)計查詢
多表查詢
Sybase PowerDesigner設(shè)計工具
mongodb MongoDB MongoDB簡介與安裝
MongoDB創(chuàng)建連接
MongoDB操作數(shù)據(jù)庫
MongoDB操作集合
MongoDB操作文檔
MongoDB條件操作符與正則表達式
MongoDB之Limit與Skip方法
MongoDB排序與聚合
Redis+Memcache Redis+Memcache Redis簡介也物、安裝與配置
Redis命令(包括Redis鍵)
Redis數(shù)據(jù)類型
Redis基數(shù)統(tǒng)計
Redis服務(wù)器與連接
memcached簡介與安裝
memcached連接
memcached存儲
memcached查找
memcached統(tǒng)計
SQLite SQLite SQLite簡介與安裝
SQLite操作數(shù)據(jù)庫
SQLite操作數(shù)據(jù)表
SQLite操作數(shù)據(jù)
SQLite條件限定與通配符
SQLite表的連接
SQLite排序宫屠、分組與過濾
SQLite結(jié)果合并
SQLite之Explain細節(jié)描述
SQLite函數(shù)
4.1.5. Python數(shù)據(jù)處理
隨著大數(shù)據(jù)瘋狂的浪潮,新生代的工具Python得到了前所未有的爆發(fā)滑蚯。簡潔浪蹂、開源是這款工具吸引了眾多客戶的原因。通過Python的實訓(xùn)練習(xí)告材,掌握數(shù)據(jù)采集坤次、數(shù)據(jù)分析、模型調(diào)優(yōu)等技術(shù)斥赋,實現(xiàn)人工智能與Python的完美融合缰猴。
Python基礎(chǔ)知識 Python基礎(chǔ)簡介 Python語言概述
為何學(xué)習(xí)Python語言
Python主要應(yīng)用領(lǐng)域
Python開發(fā)環(huán)境搭建
初識Python Python基本數(shù)據(jù)類型
Python變量
Python基本輸入輸出
Python模塊
Python運算符與表達式
Python選擇與循環(huán)結(jié)構(gòu)
Python猜數(shù)字游戲
列表與元組 Python序列操作
Python列表常用方法
Python元組
Python列表解析式與生成器表達式
字符串與正則表達式 Python字符編碼
Python字符串基本操作
Python字符串格式化
Python字符串方法
Python正則表達式與re模塊
字典 Python字典創(chuàng)建與使用
Python字典方法
集合 Python集合創(chuàng)建與使用
Python集合常用運算
文件操作 Python文件基本概念
Python打開與關(guān)閉文件
Python文件對象基本方法
Python數(shù)據(jù)序列化與反序列化
Python文件與文件夾基本操作
函數(shù) Python函數(shù)的定義和調(diào)用
Python函數(shù)參數(shù)
Python變量作用域
Python函數(shù)返回值
Python函數(shù)嵌套定義、閉包疤剑、裝飾器
面向?qū)ο?Python類的定義和使用
Python構(gòu)造方法與析構(gòu)方法
Python成員訪問權(quán)限
Python繼承
異常處理結(jié)構(gòu) Python異常概念與常見表現(xiàn)形式
Python常見異常處理結(jié)構(gòu)
Python的raise語句
Python 數(shù)據(jù)采集 爬蟲初識 爬蟲簡介
爬蟲應(yīng)用場景
爬蟲基本工作原理
網(wǎng)絡(luò)請求基礎(chǔ) TCP/IP協(xié)議
HTTP請求格式
HTTP常用請求頭
響應(yīng)狀態(tài)碼
瀏覽器發(fā)送HTTP請求的過程
cookie和session
使用Python發(fā)送網(wǎng)絡(luò)請求 Requests模塊介紹
使用Requests發(fā)送post請求
使用Requests發(fā)送get請求
使用Requests發(fā)送帶Header請求
使用Requests發(fā)送帶參數(shù)請求
Python爬蟲實戰(zhàn) XPATH介紹及節(jié)點選擇
LXML介紹及使用
對抗反爬蟲措施
網(wǎng)站數(shù)據(jù)爬取實驗
IP代理數(shù)據(jù)爬取
Python數(shù)據(jù)分析 分類與預(yù)測 決策樹
K近鄰分類算法
支持向量機
Python隨機森林
Logistic回歸分析
人工智能網(wǎng)絡(luò)
常用聚類分析算法 K-Means聚類算法
系統(tǒng)聚類算法
DBSCAN聚類算法
關(guān)聯(lián)規(guī)則算法 Apriori算法簡介
Apriori算法應(yīng)用
協(xié)同過濾算法 基于用戶的協(xié)同過濾算法
基于物品的協(xié)同過濾算法
時間序列數(shù)據(jù)分析 時間序列預(yù)處理
平穩(wěn)時間序列分析
非平穩(wěn)時間序列分析
Python主要時序模式算法
離群點檢測方法 離群點檢測概述
基于密度的離群點檢測方法
基于聚類的離群點檢測方法
基于距離的離群點檢測方法
數(shù)據(jù)降維 數(shù)據(jù)降維概述
常用降維方法-1.機器學(xué)習(xí)簡介
常用降維方法-2.機器學(xué)習(xí)數(shù)學(xué)預(yù)備知識
常用降維方法-3.常用降維方法的目的
常用降維方法-4.常用降維方法解讀
模型調(diào)優(yōu)與實戰(zhàn) 模型評估與調(diào)優(yōu) 模型評估和調(diào)優(yōu)的意義
評估指標(biāo)
模型調(diào)優(yōu)建議與注意事項
數(shù)據(jù)分析與挖掘?qū)崙?zhàn) 電子商務(wù)的智能推薦
財政收入分析
電商產(chǎn)品評價分析
電力竊漏識別分析
電器使用情況分析
4.2. 人工智能課程資源
4.2.1. 機器學(xué)習(xí)
機器學(xué)習(xí)是人工智能中發(fā)展最快的分支之一洛波,是人工智能的主要技術(shù)途徑。在本課程體系中骚露,機器學(xué)習(xí)處于基礎(chǔ)地位蹬挤,是學(xué)好后續(xù)課程的基礎(chǔ)。本課程講授機器學(xué)習(xí)的基本原理和方法棘幸,涵蓋了線性回歸實驗分析焰扳、Python從零實現(xiàn)線性回歸方程、機器學(xué)習(xí)模型評估方法對比分析、邏輯回歸實驗分析等課程的主要方法吨悍。
機器學(xué)習(xí) 線性回歸 線性回歸實驗分析
Python從零實現(xiàn)線性回歸方程
機器學(xué)習(xí)模型評估方法對比分析
邏輯回歸 邏輯回歸實驗分析
Python從零實現(xiàn)邏輯回歸方程
項目實戰(zhàn)-信用卡交易數(shù)據(jù)欺詐檢測
決策樹與集成實例 決策樹算法實驗分析
Python從零實現(xiàn)決策樹模型
集成算法實驗分析
集成模型搭建實例
項目實戰(zhàn)-基于隨機森林的氣溫預(yù)測
貝葉斯算法 Python從零實現(xiàn)貝葉斯算法
項目實戰(zhàn)-基于貝葉斯的新聞數(shù)據(jù)分類
貝葉斯優(yōu)化及其工具包使用實戰(zhàn)
貝葉斯分析實例
聚類算法分析 Python從零實現(xiàn)Kmeans算法
聚類算法實驗分析
支持向量機 基于SVM的簡易人臉識別案例
支持向量機實驗分析
降維算法 線性判別分析實驗
主成分分析
提升算法 Xgboost建模調(diào)參實戰(zhàn)
xgboost-gbdt-lightgbm算法對比分析
項目實戰(zhàn)-使用lightgbm進行飯店流量預(yù)測
隱馬爾科夫模型 HMM實現(xiàn)中文分詞
機器學(xué)習(xí)綜合項目 制作自己常用工具包
特征工程試驗分析
項目實戰(zhàn)-從零開始打造音樂推薦系統(tǒng)
推薦系統(tǒng)實驗分析
關(guān)聯(lián)規(guī)則工具包實戰(zhàn)
Python從零實現(xiàn)關(guān)聯(lián)規(guī)則
科比職業(yè)生涯數(shù)據(jù)分析建模
Python時間序列分析實戰(zhàn)
ARIMA模型實戰(zhàn)
項目實戰(zhàn)-人口普查數(shù)據(jù)集項目實戰(zhàn)-收入預(yù)測
模型學(xué)習(xí)曲線分析
基于統(tǒng)計分析的電影推薦
項目實戰(zhàn)-貸款申請最大利潤分析
NLP-文本特征方法對比
項目實戰(zhàn)-用戶流失預(yù)警
機器學(xué)習(xí)項目建模模板
4.2.2. 數(shù)據(jù)分析
數(shù)據(jù)分析指用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析扫茅,將它們加以匯總和理解并消化,以求最大化地開發(fā)數(shù)據(jù)的功能育瓜,發(fā)揮數(shù)據(jù)的作用葫隙。數(shù)據(jù)分析是為了提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。本課程涵蓋了數(shù)據(jù)分析的主要知識內(nèi)容躏仇。
數(shù)據(jù)分析 統(tǒng)計分析方法 假設(shè)檢驗分析
相關(guān)分析
方差分析
科學(xué)計算庫-Numpy
數(shù)據(jù)分析處理庫-Pandas
可視化庫-Matplotlib
可視化庫-Seaborn
數(shù)據(jù)降維常用策略 數(shù)據(jù)降維分析
鳶尾花數(shù)據(jù)集分析
數(shù)據(jù)預(yù)處理與缺失值分析
數(shù)據(jù)科學(xué)你得知道的幾種分布實例
商品可視化展示與文本處理
數(shù)據(jù)分析經(jīng)典案例 多變量分析實例
紐約出租車運行情況分析建模
基于統(tǒng)計分析的電影推薦任務(wù)
商品訂單數(shù)據(jù)集分析
KIVA貸款數(shù)據(jù)分析
汽車價格回歸分析
手寫字體識別對比分析
員工離職預(yù)測
基于NLP的股價預(yù)測
借貸公司數(shù)據(jù)分析
4.2.3. 數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的恋脚、先前未知的并有潛在價值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程焰手,它主要基于人工智能糟描、機器學(xué)習(xí)、模式識別书妻、統(tǒng)計學(xué)船响、數(shù)據(jù)庫、可視化技術(shù)等躲履,高度自動化地分析企業(yè)的數(shù)據(jù)见间,作出歸納性的推理,從中挖掘出潛在的模式工猜,幫助決策者調(diào)整市場策略米诉,減少風(fēng)險,作出正確的決策域慷。本課程涵蓋了數(shù)據(jù)挖掘的主要知識內(nèi)容荒辕。
數(shù)據(jù)挖掘 數(shù)據(jù)挖掘經(jīng)典實例解讀 數(shù)據(jù)特征預(yù)處理實驗
文本特征處理方法對比
項目實戰(zhàn)-愛彼迎數(shù)據(jù)集分析與建模
項目實戰(zhàn)-基于相似度的酒店推薦系統(tǒng)
項目實戰(zhàn)-商品銷售額回歸分析
項目實戰(zhàn)-絕地求生數(shù)據(jù)集探索分析與建模
項目實戰(zhàn)-銀行客戶還款可能性預(yù)測
圖像特征聚類分析實踐
競賽優(yōu)勝解決方案 項目實戰(zhàn)-快手短視頻用戶活躍度分析
項目實戰(zhàn)-工業(yè)化工生產(chǎn)預(yù)測
項目實戰(zhàn)-智慧城市-道路通行時間預(yù)測
特征工程建暮瓜可解釋工具包
項目實戰(zhàn)-醫(yī)學(xué)糖尿病數(shù)據(jù)命名實體識別
貸款平臺風(fēng)控模型-特征工程
項目實戰(zhàn)-新聞關(guān)鍵詞抽取模型
數(shù)據(jù)特征常用構(gòu)建方法
項目實戰(zhàn)-用電敏感客戶分類
項目實戰(zhàn)-京東購買意向預(yù)測
項目實戰(zhàn)-泰坦尼克號獲救預(yù)測
數(shù)據(jù)挖掘常用策略實戰(zhàn) 用戶畫像分析
數(shù)據(jù)特征常用構(gòu)建方法
集成策略實例
模型解釋方法實戰(zhàn)
kaggle數(shù)據(jù)科學(xué)調(diào)查分析
項目實戰(zhàn)-房價預(yù)測
項目實戰(zhàn)-fbprophet時間序列預(yù)測
自然語言處理常用工具包實戰(zhàn)
Pandas數(shù)據(jù)處理實戰(zhàn)
4.2.4. 深度學(xué)習(xí)
深度學(xué)習(xí)是人工智能第三次浪潮的核心技術(shù)犹褒,廣泛應(yīng)用于圖像識別、語音識別弛针、機器翻譯叠骑、醫(yī)療影像處理、自然語言處理削茁、人機博弈等眾多領(lǐng)域宙枷,使得這些領(lǐng)域取得了突破性進展。本課程是AI課程系列中的核心茧跋,講授深度學(xué)習(xí)的原理慰丛、技巧和前沿技術(shù)。
深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)算法 神經(jīng)網(wǎng)絡(luò)算法實驗分析
word2vec詞向量模型實驗
基于word2vec的文本分類實戰(zhàn)
維基百科數(shù)據(jù)集訓(xùn)練詞向量模型
Python從零實現(xiàn)神經(jīng)網(wǎng)絡(luò)
PyTorch框架與實戰(zhàn) PyTorch框架基本處理操作
神經(jīng)網(wǎng)絡(luò)實戰(zhàn)分類與回歸任務(wù)
圖像識別核心模塊實戰(zhàn)解讀
遷移學(xué)習(xí)的作用與應(yīng)用實例
遞歸神經(jīng)網(wǎng)絡(luò)與詞向量原理解讀
新聞數(shù)據(jù)集文本分類實戰(zhàn)
對抗生成網(wǎng)絡(luò)架構(gòu)原理與實戰(zhàn)解析
Keras框架與實戰(zhàn) 搭建神經(jīng)網(wǎng)絡(luò)模型
再戰(zhàn)卷積神經(jīng)網(wǎng)絡(luò)
基于keras的LSTM時間序列預(yù)測任務(wù)
多標(biāo)簽與多輸出任務(wù)實戰(zhàn)
keras文本分類實戰(zhàn)
Keras實戰(zhàn)對抗生成網(wǎng)絡(luò)
數(shù)據(jù)增強實戰(zhàn)
遷移學(xué)習(xí)與Resnet殘差網(wǎng)絡(luò)
Keras框架實戰(zhàn)模板總結(jié)
Tensorflow框架與實戰(zhàn) tensorflow安裝與簡介
搭建神經(jīng)網(wǎng)絡(luò)進行分類與回歸任務(wù)
貓狗識別實戰(zhàn)
圖像數(shù)據(jù)增強實例
訓(xùn)練策略-遷移學(xué)習(xí)實戰(zhàn)
基于TensorFlow實現(xiàn)word2vec
基于RNN模型進行文本分類任務(wù)
tfrecord制作數(shù)據(jù)源
將CNN網(wǎng)絡(luò)應(yīng)用于文本分類實戰(zhàn)
TF2時間序列預(yù)測
Tensorboard可視化模塊
Tensorflow基礎(chǔ)操作
致敬經(jīng)典:Alexnet網(wǎng)絡(luò)實戰(zhàn)
Tensorflow卷積神經(jīng)網(wǎng)絡(luò)實戰(zhàn)
CNN文本分類任務(wù)
驗證碼識別
4.2.5. 自然語言處理
自然語言處理和理解是智能的核心之一瘾杭,在深度學(xué)習(xí)時代诅病,自然語言理解取得了很大的進展。本課程講授自然語言理解領(lǐng)域的基本概念、原理和方法贤笆,以及最新的一些技術(shù)進展蝇棉。
自然語言處理 自然語言處理基礎(chǔ) 自然語言處理必備工具包實戰(zhàn)-1
自然語言處理必備工具包實戰(zhàn)-2
自然語言處理必備工具包實戰(zhàn)-3
NLP-文本相似度計算實例
自然語言處理綜合項目 實現(xiàn)word2vec詞向量模型
項目實戰(zhàn)-問答機器人
項目實戰(zhàn)-構(gòu)建自己的輸入法
項目實戰(zhàn)-NMT機器翻譯框架
項目實戰(zhàn)-LSTM時間序列預(yù)測任務(wù)
項目實戰(zhàn)-地址郵編多序列任務(wù)
4.2.6. 計算機視覺
計算機視覺研究從圖像中理解現(xiàn)實世界的技術(shù),是人工智能的主要研究方向之一芥永。本課程講授計算機視覺的核心原理和方法篡殷,涵蓋了主要的經(jīng)典算法原理和最新的前沿成果。
計算機視覺 OpenCV圖像處理基礎(chǔ) Opencv圖像基本操作
Opencv的DNN模塊分析
常用圖像處理策略 圖像閾值與平滑處理
圖像金字塔與輪廓檢測
直方圖與傅里葉變換
圖像計算實例 圖像形態(tài)學(xué)操作實例
圖像梯度計算實例
邊緣檢測實戰(zhàn)
圖像特征-harris實例
圖像特征-sift實例
背景建模實例
光流估計實例
計算機視覺綜合項目 項目實戰(zhàn)-人臉檢測數(shù)據(jù)與網(wǎng)絡(luò)制作
項目實戰(zhàn)-實現(xiàn)人臉檢測
項目實戰(zhàn)-關(guān)鍵點檢測網(wǎng)絡(luò)訓(xùn)練
項目實戰(zhàn)-關(guān)鍵點定位模型實現(xiàn)
項目實戰(zhàn)-信用卡數(shù)字識別
項目實戰(zhàn)-文檔掃描OCR識別
案例實戰(zhàn)-全景圖像拼接
項目實戰(zhàn)-停車場車位識別
項目實戰(zhàn)-答題卡識別判卷
項目實戰(zhàn)-目標(biāo)追蹤
項目實戰(zhàn)-圖像風(fēng)格轉(zhuǎn)換(style-transfer)
項目實戰(zhàn)-圖像缺失自動補全
項目實戰(zhàn)-超分辨率重構(gòu)
項目實戰(zhàn)-疲勞檢測
第五章 數(shù)據(jù)安全科研保障箱
數(shù)據(jù)安全科研實驗箱是在建立在學(xué)生具備完善的數(shù)據(jù)安全基礎(chǔ)知識的層面上的埋涧,在學(xué)生掌握了一定的數(shù)據(jù)安全攻擊防御學(xué)科知識的同時板辽,亦可進行學(xué)科性的知識拓展研究;在一定程度上可延伸學(xué)生的學(xué)習(xí)和知識掌握能力飞袋;同時更加全面的提高了學(xué)生的綜合知識能力戳气。
數(shù)據(jù)安全科研實驗實驗箱集成了四種處理器,包括A8處理器巧鸭、M4處理器瓶您、Z32處理器、FPGA編程板纲仍,可通過編程實現(xiàn)如下科研項目:SM2密碼算法與實現(xiàn)呀袱、12684液晶屏串行顯示實驗、SLE4428邏輯加密卡實驗郑叠、SM3密碼雜湊算法程序設(shè)計夜赵。