<Uber Schema-less 的系統起源>


Index 前情提要 故事背景 先用老招 尋找新的 Infra,然後放棄 手動打造新的系統 Schema-less Overview 細節 Consistency and Atomicity Performance 感想 前情提要 這篇文章會被我研究到也是有些故事,由於蠻有趣的所以我就提一下,希望能夠勾起讀者的興趣!有天我在研究 Uber 的 Schemaless 系統時發現的一些趣事。 (以下是三篇文章的關鍵字,由於台灣的 Uber TW 網站掛掉了,我整理一下關鍵字,大家之後可以搜尋看看) <Designing Schemaless, Uber Engineering’s Scalable Datastore Using MySQL> <Using Triggers On Schemaless, Uber Engineering’s Datastore Using MySQL> <The Architecture of Schemaless, Uber Engineering’s Trip Datastore Using MySQL> 這幾篇文章都很有趣,但是我仔細檢查之下,發現他們在文中有引用到別人的想法,那我為甚麼不去研究原版呢?這樣不是概念更清楚嗎 XD? 我就找到這篇文章,也就是 <How FriendFeed uses MySQL to store schema-less data>。在我做了一些搜尋之後,發現這篇文章來頭可不小! 這篇文章是由 Bret Taylor 所寫的,他是 Google Maps 的共同創作者,也是 Facebook 一段時間的 CTO,目前是 Salesforce 的 CEO。而 FriendFeed 其實就是做和 facebook 差不多的事情,最後被 facebook 收購,可以發現 Logo 和 facebook 是如此相似!…
Read more ⟶

<Kubernetes: 一種爵士即興演出!>


Index 導言 前言 預先知識 其實不是 Container Orchestration? kubernetes 系統和元件解釋 Datastore: etcd Policy Layer: API Server Business Logic: Controller Manager & Scheduler Scheduler Controller Node Agent: Kubelet Workflow 結論 心得 附錄:chubby Families 導言 這篇文章會翻譯介紹 <Core Kubernetes: Jazz Improv over Orchestration> 這篇文章,主要講解 kubernetes 的運作原理 (不是怎麼使用喔 XD)。文章作者是 kubernetes 三位創始人之一的 Joe Beda,他用很精簡的語言和例子為我們分析 kubernetes 這樣的系統。 前言 這篇文章會仔細講解 kubernetes 內部如何運作,作者直接在第二句話就說,如果你是需要知道如何 Operate kubernetes 的人 (比如說安裝或是用 kubectl),是不需要懂這些的 XD。這篇文章的受眾,是給那些想要深入了解 kubernetes 內部的人的。 預先知識 由於這篇文章會採用大量篇幅的 kubernetes 專有名詞,所以至少希望你知道一些 kubernetes 的名詞的定義,例如 Pod Node Kubelet …etc 其實不是 Container Orchestration? 後續的篇幅我們會介紹 kubernetes 是如何運作的,不過作者卻先做了一點名詞上的澄清。如果你去 Google 查 kubernetes,多半會告訴你 kubernetes 是一種 Container Orchestration,Orchestration 這個詞像是有一個交響樂團的中心指揮家,指揮著樂團的演奏。…
Read more ⟶

<Discord 如何 Full-text Index 數十億的訊息>


Index 前言 需求 解決方案 Question 1:我該用外部的 SaaS 去解決這個問題嗎? Question 2:有 Open-source 的方案可以用嗎? 我們該”全面”相信 Elasticsearch 嗎? 元件的細節 高層次分析 Insert 元件 Shard Manage 元件 Indexing & Mapping the Data 實際上 Coding 的實作 實際在 Production 的過程 初始化實驗 研究的精神 更新的煩惱 The Future Example:Unhealthy Cluster (ran out of heap) Example:Healthy Cluster 結論 感想 前言 這篇部落格會翻譯和參考 <How discord indexes billions of messages> 這篇文章的內容做整理和翻譯。 這篇算是 <Discord 如何處理數十億的訊息> 的下集,當有了最核心的訊息讀寫系統。下一個很重要的 feature 就是 Full-text Search。 舉例來說,User 突然想到以前和同伴討論的某個議題,不可能慢慢滑去找,而是要用像是 Search Engine 這樣的功能,這篇文章就是在介紹 Discord 如何做到這種功能。…
Read more ⟶