繼續整理 Amazon API Gateway 的整合應用:如何使用 API Gateway 透過 NLB (Network Load Balancing) 整合 VPC 內部的服務與資源。
原定時間是 2017/12/07 ,後來改到 2018/03/29,活動名稱改為 Serverless All-Star
,我的主題沒有改變: Ops as Code using Serverless,歡迎大家來彭場!
這場演講的 Slide 請參考 Serverless All-Star in 2018 (Public Slide)
SRE 這本書並不是很容易入門的,書中有不少東西是滿技術性的,但也很多屬於觀念、原則、經驗方法。所以如果非技術背景或者管理階層的朋友,想要閱讀 SRE,推薦閱讀以下章節,可以了解一些原則與概念。
太技術性的章節我先過濾掉,以下是原文的 Link (英文)。
- Part I Introduction
- Part II Principles (指導原則)
- Part III Practices 具體實踐
- Part VI Management 管理
- Part V Conclusions 總結
如果只能挑一章來讀,我推薦 CH15 事後檢討:從失敗中學習
,建立良好的回饋與循環,讓團隊漸進式地變好。這也是 “DevOps” 的精神之一。
如果可以選擇一段主題,我推薦 CH11-16
,都在討論 上線後
要面對的問題還有平常的訓練。
API Gateway 是直接面對使用者的,所以除了 API 本身的描述,面對 Client 的 Endpoint / URL Path 的規劃也很重要,相對應的就會帶出 DNS、SSL、CDN … 等議題,而這些問題,通常上線後都才會注意到。但實際上規劃的不好,不只門面不好看,同時也會造成開發、測試、管理、溝通 … 等成本。
本文整理如何使用 Amazon API Gateway 和 AWS 的 Certificate Manager (ACM)、Route53 設定 Custom Domain Name,還有更重要的是規劃完整的 Service 與 Endpoint 要注意的事情。
本文延續 Overview API Gateway 相關筆記,整理在 Amazon API Gateway 中, 如何使用 CloudWatch Logs (以下縮寫 CWL) 找問題、Debugging,設定包含以下:
- Enable CloudWatch Logs for API Gateway
- Enable API Logging for Stage
- Custom Access Logging
春節前一週個週末,因為一個服務系統異常,讓我又重新 review 關於 File Descriptor
(以下簡稱 FD) 的概念。上次整理 已經是兩年前的,再重新讀了相關資料,整理以下部分:
- FD 基本概念
- 設定層級,以及各個層級的詳細設定方法和關係
- FD 應用場景與問題
來自 AWS News 的訊息,Inter-Region VPC Peering
多了九個 Region,而且總算有亞洲了!不用再自己幹 Site to Site VPN 了!
整理基本資訊、實測的數據、規劃上的考量等。
AWS Certified Solutions Architect - Associate
(以下簡稱 SAA) 更版,來自 AWS Blog 的訊息: New AWS Certified Solutions Architect – Associate Exam: Now in General Availability.
正在準備考試的、或者有參考 我的筆記 的人,要注意此資訊。
最近很常看到這個詞:Service Mesh,源自於 Buoyant - CEO Willian Morgan 在 APRIL 25, 2017 發表的文章:What’s a service mesh? And why do I need one?
Mesh
可以翻譯為:網、網狀物Service Mesh
第一次出現是 Buoyant 內部的會議,然後 2016/09/29 公開
在 Overview API Gateway 中提到,Amazon API Gateway 提供了客製化驗證的機制,讓我們可以個別設定驗證的方式,使用者認證 (Authentication) 可以使用 OAuth or SAML;授權 (Authorization) 可以使用 JSON Web Token (JWT) 或者 OAuth provider。
本文整理如何使用 Lambda 做 Custom Authorizers 的基本用法與流程。
整理 GCP 的 Virtual Private Cloud (VPC) 的筆記,重點在 VPC Network、Shared VPC (XPN),同時跟 AWS VPC 的設計比較。
整理研究 AWS 產品 Amazon API Gateway 的心得筆記,相關的基礎概念、架構考量,請參閱:Overview API Gateway
本文整理 API Gateway 的基礎概念與想法,主要整理架構設計、技術規格、應用場景等探討。關於 AWS 的產品請參考 Amazon API Gateway 的整理。
不自覺地把 Slack 當 RSS Reader 使用很久了。。。
SRE: Site Reliability Engineering 有幾個章節,討論關於警急事件的處理、管理、檢討、事件追蹤 … 這些章節討論事件處理的週期,也就是事件的前、中、後要做什麼。書中也從不同專業背景學習類似的想法,像是電影 薩利機長:哈德遜奇蹟 就是很好的例子。
一些關於我自己的資訊。
我很習慣追尋字面上意思的本質問題,『監控』一詞是我這幾年追得很緊的詞,索性就深入分析其意義。
Updated 2023/07/19: 本文收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市
在 Software Development Lifecycle 的整理中,整理了我經歷各種角色之後,把 軟體開發流程 (SDLC)
做了不同面向的分析,最後抽象化了四個層次:
- Plan
- Execution
- Acceptance
- Operation
最近我把這個結論應用到看板的規劃,這個規則最近上線開始試跑,跑的過程中,我又有新的想法,這些想法大多來自於過去音樂製作的心得與學習。
Updated 2023/07/19: 本文部分收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市
因為 系統思考 這本書,還有最近跟朋友分享了關於『自動化』看法之後,過程中我不斷地想到過去整裡的想法: 自動化 XXX 的陷阱、自動化帶來的問題,我決定把其中段落重新整理出來,也就是『什麼是自動化?』
Updated 2023/07/19: 本文收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市
SRE: Site Reliability Engineering 很多章節開頭都有一段很有深意的 標語 (slogan)
,這些話都很簡單,卻也讓人省思。
整理如何快速把資料從 AWS S3 傳到 Google Cloud Storage 的步驟。
12/02 Apple iOS 11.1.2 爆炸了,無限黑屏轉圈圈,暫解法是把時間改到 11/30 即可。Apple 隨即也 Relase 11.2 緊急 Fix 這個問題。
很多人會疑惑:
- 為什麼蘋果會犯這種不可原諒的錯誤?
- 難道 Apple 沒有 QA 了?
- 有跑
Regression Test (回歸測試, 以下簡稱 RT)
應該可以發現吧? - 有人覺得很容易重現,為什麼沒發現?
但我想的是:
- 為什麼這會很容易被發現?為什麼大家會這樣覺得?
- 為什麼跑 RT 就一定能 Release?
- 實際上很多人不知道 RT 是什麼,還有其重要性,很多公司根本就沒這關卡,能動就上。
從這件事情,簡單分析,同時討論軟體的測試階段:Regression Test (回歸測試)
這 Slide 簡單整理我對於系統上線後,面對異常處理的態度以及心法。
整理一些我自己常說的話,是自己領悟出來的,也許早已經有類似的話 … 不過自已領悟、體悟出來的,跟只是讀別人講的,感受深度與層次是不一樣的。
當然,也可以當作是 練肖話
啦 XD
整理 GCP Cloud Load Balancing 和 AWS Elastic Load Balancing 的比較,功能比較的面相如下:
- Global or Regional
- Internal or external
- Protocol Type
整理這三個面向的比較。
現在啥鬼都要跟 Ops
扯上關係?或者要消滅 Ops 變成 NoOps
,用人工智慧 智障 來取代叫做 AIOps
,到底啥是 Ops
?
Updated 2023/07/19: 本文部分收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市
一直很想找一些人,這些人有個特質:
喜歡思考事物的本質性、背後的故事、問題、原理、抽象化、想像、實踐方法
像是:
- 使用 Slack 的時候:
- 他背後可能的系統架構是什麼?他的 App Store 怎麼設計的?通知機制怎麼設計?
- API 的架構怎麼規劃?歷史資料如何讓使用者查詢?
- 如何讓使用者建立完整的帳號?付費用戶跟沒有付費的架構是一樣的?
- 使用 iPhone 的時候,他對人類的貢獻是?對地球的貢獻是?
- 思考他是如何生產的?有多少公司提供零件給他?怎麼整合這些資訊?iPhone 最後如何銷毀? (生命週期)
- 十年過去,全球為了生產 71 億支智慧型手機付出的代價是?
- 循環式經濟:智慧型手機十年進化史,有一些事情必須要知道
- 2021 年電子電器廢棄物高達 6,300 萬噸,其價值超過許多國家 GDP
- 電商帶給消費者方便,他背後的系統是如何運作的?如何面對巨大的交易?電商帶來的社會問題你注意到了?便利另外一面是什麼?人類交易的本質是什麼?
- 中國電商污染,5 千萬噸垃圾誰來買單
- Steve Cutts - 諷刺漫畫
- 過度包裝的迷思:你只是買了更多垃圾
- 2019/04/07: 台灣網購1年估計產生8000萬個物流貨箱,「過度包裝」法規卻還管不到
- 2018/06/28: 亞馬遜爆出巨大醜聞!全新商品「直接銷毀」只為省錢,便利服務全來自資源浪費、勞工血汗
- 2018/06/15: 超商年丟70億食物? 300超商加盟店聯手抗議
- 聽演唱會的時候,你會注意演唱會整體想表現的情緒?你會注意演唱會主角以外的人事物?最後組成的整體性?
- 看電影時,你會注意每個鏡頭想要表達的是什麼?鏡頭是如何取的?有多少個鏡頭?拍攝現場要怎麼準備?演員走位。。。
- 看小說時,為什麼會寫出這麼精彩的故事?為什麼會想出
星艦企業號
這樣的劇情? - 金庸怎麼把小說寫成歷史,把歷史變成小說? (虛實融合?)
最近我開始用 Go Live
取代 Production
這個詞。
Updated 2023/07/19: 本文部分內容收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市
現在啥都要 自動化
、 ZYX as Code
,實際上,我覺得做了這些之後問題才剛開始。整理跟朋友聊天的想法,因為我對 自動化
這個詞其實很感冒。。。表面上是一種先進的方法,但實際上卻是一種駝鳥心態。
12/07 我會有一場公開的技術演講 (唬爛?),主題: Ops as Code using Serverless
內容會把工作幾年來的想法整理一下,同時如何利用 Serverless
的概念作應用。
BTW:”想拯救世界的軟體開發者。” 不是唬爛的。。。至少拯救台灣!台灣人才擠擠,站上世界舞台不是夢!
Updated 2017/11/25: iThome 通知活動延後到明年
重構 (Refactoring) 是軟體工程重要的過程,主要目的是 改善既有程式的設計,用白話文就是:大掃除。程式需要重構,那組織呢?
今年七月在公司內部發起的 SRE: Site Reliability Engineering 讀書會,同時在十一月也參與 社群 讀書會,整理當時的 Slide 分享。
這個 slide 整理為什麼我選讀 SRE 這本書的原因以及給同事的一些想法,還有第一章的內容。
這篇文章 討論關於 “Monitoring vs Observability” 的差異。
Updated 2023/07/19: 本文部分收錄在個人著作 《SRE 實踐與開發平台指南》 - 2023/08 上市