spark過濾算子+StringIndexer算子出發的一個邏輯bug

摘要:問題描述: 在一段spark機器學習的程序中,同時用到了Filter算子和StringIndexer算子,其中StringIndexer在前,filter在后,并且filter是對stringindexer的輸出列設置了過濾條件,filter算子之后將數據集灌到隨機森林中(試過決策樹分類和邏輯回歸同 閱讀全文
posted @ 2019-11-05 12:52 _朱葛 閱讀(81) 評論(0) 推薦(0) 編輯

spark和深度學習集成調研

摘要:http://dy.163.com/v2/article/detail/E2TMAOTU0518KCLV.html http://www.elecfans.com/d/676451.html https://gitbook.cn/gitchat/column/5bfb6741ae0e5f436e35 閱讀全文
posted @ 2019-09-28 15:00 _朱葛 閱讀(60) 評論(0) 推薦(0) 編輯

收藏一個不錯的個人博客

摘要:http://muziyuchen.com 大數據常見組件的知識點整理的很好 閱讀全文
posted @ 2019-08-02 16:09 _朱葛 閱讀(38) 評論(0) 推薦(0) 編輯

二分法中的逼近法

摘要:leetcode地址: https://leetcode.com/problems/find-smallest-letter-greater-than-target/description/ 難度:easy 描述: Given a list of sorted characters letters  閱讀全文
posted @ 2019-07-07 14:09 _朱葛 閱讀(158) 評論(0) 推薦(0) 編輯

netty服務端啟動--ServerBootstrap源碼解析

摘要:netty服務端啟動 ServerBootstrap源碼解析 前面的第一篇文章中,我以spark中的netty客戶端的創建為切入點,分析了netty的客戶端引導類Bootstrap的參數設置以及啟動過程。顯然,我們還有另一個重要的部分 服務端的初始化和啟動過程沒有探究,所以這一節,我們就來從源碼層面 閱讀全文
posted @ 2019-06-30 01:52 _朱葛 閱讀(132) 評論(0) 推薦(0) 編輯

ChannelPipeline----貫穿io事件處理的大動脈

摘要:ChannelPipeline貫穿io事件處理的大動脈 上一篇,我們分析了NioEventLoop及其相關類的主干邏輯代碼,我們知道netty采用線程封閉的方式來避免多線程之間的資源競爭,最大限度地減少并發問題,減少鎖的使用,因而能夠有效減低線程切換的開銷,減少cpu的使用時間。此外,我們還簡單分析 閱讀全文
posted @ 2019-06-29 04:29 _朱葛 閱讀(341) 評論(0) 推薦(1) 編輯

netty中的發動機--EventLoop及其實現類NioEventLoop的源碼分析

摘要:EventLoop 在之前介紹Bootstrap的初始化以及啟動過程時,我們多次接觸了NioEventLoopGroup這個類,關于這個類的理解,還需要了解netty的線程模型。NioEventLoopGroup可以理解為一組線程,這些線程每一個都可以獨立地處理多個channel產生的io事件。 N 閱讀全文
posted @ 2019-06-27 01:11 _朱葛 閱讀(252) 評論(0) 推薦(0) 編輯

idea中從代碼自動定位到左側類結構位置

摘要:標題的意思表達的不是很清楚,下面是這個設置的方法: 圖中紅圈中就是設置的位置,把鼠標懸浮在上面,可以看到這個設置的名稱是Autoscroll from source, 它的作用是,你在代碼中點擊一個方法的時候,左邊的structure區域會自動定位到這個方法,并且展示出這個方法所屬的類,方法的聲明不 閱讀全文
posted @ 2019-06-26 21:23 _朱葛 閱讀(892) 評論(1) 推薦(0) 編輯

Trie樹的java實現

摘要:leetcode 地址: https://leetcode.com/problems/implement-trie-prefix-tree/description/ 難度:中等 描述:略 解題思路: Trie樹 也就是字典查找樹,是一種能夠實現在一個字符串集中實現快速查找和匹配的多叉樹結構,關于Tr 閱讀全文
posted @ 2019-06-23 13:20 _朱葛 閱讀(401) 評論(0) 推薦(0) 編輯

Bootstrap初始化過程源碼分析--netty客戶端的啟動

摘要:Bootstrap初始化過程 netty的客戶端引導類是Bootstrap,我們看一下spark的rpc中客戶端部分對Bootstrap的初始化過程 TransportClientFactory.createClient(InetSocketAddress address) 只需要貼出Bootstr 閱讀全文
posted @ 2019-06-23 02:15 _朱葛 閱讀(230) 評論(0) 推薦(0) 編輯

統計

内蒙古快3开奖结果 最好的股票配资平台排名 好运彩app正版安卓下载 一波中特最准网址101 贵阳麻将怎么打 广西快乐双彩开奖牛彩网 幸运pk10在线 云南十一选五开奖今 尤洛卡股票 篮球直播今晚中国男 十一选五万能七码 天津11选五预测工具 贵阳斗地主下载 陕西快乐10分走势图 3d试机号历史开奖 官方516棋牌游戏中心 山西太行麻将一门牌