Bayesian and frequentist statistics (from Monica)

 Bayesian和頻率主義統計是統計學中的兩種主要方法，各有其特點和應用場景。以下是它們的比較：


### 1. 理論基礎

- **Bayesian Statistics（貝葉斯統計）**：

  - 基於貝葉斯定理，將先驗知識（prior knowledge）與觀察數據結合，更新對參數的信念。

  - 允許使用主觀概率來表達不確定性。


- **Frequentist Statistics（頻率主義統計）**：

  - 將概率視為事件在大量重複試驗中的相對頻率，強調長期行為。

  - 不使用先驗知識，主要依賴樣本數據。


### 2. 參數估計

- **Bayesian**：

  - 提供參數的後驗分佈，允許對參數的不確定性進行全面描述。

  - 可以計算參數的可信區間（credible intervals）。


- **Frequentist**：

  - 提供點估計和置信區間（confidence intervals），但不直接描述參數的分佈。


### 3. 假設檢驗

- **Bayesian**：

  - 可以計算某一假設的後驗概率，並根據實際情況進行決策。

  - 允許靈活的模型比較。


- **Frequentist**：

  - 使用p值來檢驗假設，強調結果的統計顯著性。

  - 假設檢驗結果不直接提供假設的概率。


### 4. 優缺點

- **Bayesian**：

  - **優點**：靈活性高，能夠融入先驗知識，適合小樣本情況。

  - **缺點**：計算複雜度高，先驗選擇可能影響結果。


- **Frequentist**：

  - **優點**：方法簡單，計算相對容易，適合大樣本情況。

  - **缺點**：不考慮先驗信息，對小樣本的表現可能不佳。


### 5. 應用場景

- **Bayesian**：適用於需要融入先驗知識的領域，如醫學、機器學習等。

- **Frequentist**：常用於社會科學、經濟學等領域的傳統研究。


### 總結

Bayesian和頻率主義統計各有其優缺點，選擇哪種方法取決於具體的研究問題、數據特性以及研究者的偏好。理解這兩種方法的基本原理和適用場景，有助於在實際應用中做出明智的選擇。

留言

張貼留言

更多你可能喜歡的文章

認識金融保險機構的經營與管理-從事金融業最基本的知識與概念

首先要了解不同金融行業的商業模式或獲利模式。 以銀行業來說， 最重要的商業模式是提供匯兌與支付的服務，吸收存款，從事放款以賺取存放款的利差。銀行是間接金融市場的主要金融仲介。 無論是貸款給企業或消費者，都是有風險的。 也就是不但可能賺不到利息，而且有可能本金也沒辦法全部回收回來。 因此，顧客的信用風險管理是銀行經營最重要的一環。 目前銀行的存 放款 利差 相對較小。加上如果許多存款都貸放不出，銀行的利息收入會很有限。 因此銀行的經營也仰賴 其他金融服務與商品買賣的手續費與佣金。例如，外幣，共同基金，結構化的金融商品與保險等。   就保險業而言，主要的商業模式是承保風險以獲得承保利潤。 也就是 先有保費收入， 之後， 若有承保事件發生，再支出理賠費用。 所以，若是收入不夠或支出太多。 都是保險公司的 承保 風險。 從保費收入到理賠之間會有一段的時間，使公司可以從事資金的運用。 若投資收入不佳，是為投資風險。 例如傳統型的保單通常會設定所謂預定利率， 如果投資報酬率小於預定利率， 就是所謂的利率風險。 因此，保險公司提供的保單，除了有保障成分之外，也有投資或儲蓄的成分。     有些保單儲蓄或投資的成分較重，保障的成分較輕。 例如利變型壽險或年金， 儲蓄 成分較多。 保險公司收取保費後，通常投資於投資級的公司債。 因此保險公司，也從事一些影子銀行(shadow banking)的工作。 另外，投資型保單也是投資成分比較多。 保險公司主要收取一些帳戶管理費用， 類似投資信託公司 賺取資產管理的管理費用。 帳戶的資金也可能全權委託投資機構來管理，此即所謂的類全委。 除非保單提供 保證 最低身故給付， 保證 最低滿期給付或其他報酬保證，保險公司沒有承擔主要的投資風險。   證券業則是在次級金融市場(secondary markets)(已發行的金融商品市場，也稱為流通市場)從事證券交易買賣仲介， 融資融券與承銷的工作(金融商品初次發行，此市場稱為初級市場(primary markets))。證券商 是直接金融市場的主要金融仲介。 證券市場的交易量是證券業最重要的風險因子。 仲介服務可賺取手續費，融資 融券 服務 主要 是賺取利息收入。 承銷則是賺取手續，業務與顧問費用。  
閱讀完整內容

為什麼有些人不喜歡談保險或買保險?

 如果談如何用錢來賺更多的錢時，大家應該都有興趣。然而，如果是談要花錢來避免將來意外，生病，失能或死亡帶來可能的損失時，就不是很多人有興趣了。可能的原因是，人本來就不喜歡談這些未來可能會面對的不幸的事情，保費太貴，保險公司理賠不乾脆等。底下是從行為經濟的觀點來看更多的原因。 根據保險學的教科書，對於發生機率低損失金額大的風險，保險是很好的理財工具。然而，由於發生機率低，不常 發生，所以消費者 會發現購買保險 後似乎 沒有什麼功用，就不再購買保險了 。 這樣的結果與 心理學的行為 學派的理 念是一致的。心理學的行為學派認為， 若行為的結果是好的，則行為者會重複此行為；但如果行為的結果是不好的，這個行為就不再重複 。 行為經濟學家 Kahneman and Tversky (1979) 對於決策者的風險態度也提出與古典經濟學家不同的看法。他們 以 心理實驗證明人在面對獲利機會 時會呈現 風險趨避的態度，但在面臨損失機會時，決策者的態度會是風險愛好者。   Kahneman and Tversky (1979) 設計兩個實驗如下  :   1.      參加者先獲得 $1,000 ，參加者必須選擇 A 或 B 。 A: 一定得到 $500 ； B: 有 50% 機率得到 $1,000  或 $0   2.      參加者先獲得 $2,000 ，參加者必須選擇 C 或 D 。 C: 一定損失 $500 ； D: 有 50% 機率會損失 $1,000 或 $0   對於第一個實驗大多數的參加者會選擇 A ，亦即確定的獲利，所以他是個風險趨避 者。 但對於第二個實驗大多數的參加者會選擇的 D ，亦即不確定的損失， 所以 他是個風險愛好者。其實上面兩個實驗， A 與 C 的結果是一樣的，最後都是 得到 1500 元 ；而 B 與 D 的結果也是一樣的，他們有相同的機率分配   。 這兩個實驗除了反映出人的風險態度會隨著獲利或損失機會而有很大的不同。這是所謂風險態度逆轉 ( Preference Reversal) 的現象，亦即從風險趨避轉變為風險愛好。另外，這兩個實驗也反映出，所謂的框架效果 (Framing Ef...
閱讀完整內容

如何學(How to learn)? 為何學(Why to learn)?

  為何解決生活上與工作上的問題，學習是終身的事情。現代社會的學校教育從幼稚園 、 小學 、 中學 、 大學到研究所，都是為了提供學習資源與環境以利學習成長。這個過程大家通常可以是全職學生而專注學習。但學習不是只在學校的事情，畢業後在職場所需的專業知識，或是新的知識與技術，可能是學校不曾教過。學習仍須持續。 人之所以成為地球上最強的物種便是因為人懂得學習知識，創造知識與應用知識。先聖先賢與先知早就有一些重要的學習方式經驗傳遞下來 : 博學 : 廣泛的學習，跨領域的學習。不同領域的整合交會可能會產生新的見解與解決問題的方式。經濟學與心理學合成的行為經濟學即是。 審問 : 懂得發問是學習的一環。多請問專業的人士較能快速理解該領域的核心與系統知識及其應用。現在大家利用生成式 AI ( 例如 ChatGPT) 來學習，其關鍵就在於問對問題。 慎思明辨 : 即所謂的 Critical Thinking ( 批判性的思考 ) 。學與思是相輔相成。 對於所學所看所聞，要去思考這個有道理嗎，是正確的嗎 ? 我可以去驗證它的真實性嗎 ? 篤行 : 知識貴在能應用它並創造價值。 學習不是只有上課或為了考試，學習是為了解問題，分析問題與解決問題。 學習是為發覺知識的奧妙，享受當中的樂趣。 可以學習現有的知識，也可以學習去創造新的知識。 在學習上可分為以下層次 :   知識 (Knowledge) ，理解 (Comprehension) ，應用 (Application) ，分析 (Analysis) ，綜合 (Synthesis) 與評鑑 (Evaluation)   理解是知道知識的來龍去脈，現象的因果關係。   應用即是上面所談的篤行。了解知識即能應用，不一定要理解。   分析是去探索知識的真實性或創造新知識。   綜合是能整合不同知識或跨領域整合。   評鑑是能判定新知識的真實性。 大學畢業生至少要學到應用的層次 研究所畢業生要學到分析以上的層次
閱讀完整內容

人的行為偏誤(Behavioral Biases)與不理性(Irrationality)(為何需要人工智慧)

 要做到經濟學中的理性經濟人是不容易的，因為人有很多行為偏誤會使決策與行為偏離理性，這已被心理學家發現與證實。 行為偏誤可分為兩種: 認知偏誤(Cognitive Biases)與情緒偏誤(Emotional Biases)。 認知偏誤也稱為捷思偏誤或直覺偏誤(Heuristic Biases)。因為認知計算與記憶能力有限，人偏向利用簡單的原則(Rules of Thumb)來做決策。也有人認為，是人的懶惰，不喜歡深思熟慮，三思而後行。也就是習慣用系統一的直覺或快思，而不喜歡用系統二熟慮與慢想。 認知偏誤有很多。例如，現時偏誤(Present Bias)，就是過度重視現在目前的利益與享受，而較忽略未來的利益。未來的利益通常給于很高折現率，所以折現後就很小。這個偏誤可以解釋為何 有些學生為何上課不認真， 喜歡滑手機或睡覺，因為輕鬆活在當下勝過 上課認真學習可能會在遙遠未來或的的好處的。如果沒有政府的政策，很多人為將來儲存的退休金都不足，也是這種偏誤。因為，他們偏向將錢花在現在的享樂。 確認偏誤(Confirmation Bias)，是傾向注意與重視支持自己想法，立場或假設的資訊。所以，認為投資台積電是好的，會去特別注意有關台積電的正面報導或分析，而故意忽視他的負面新聞。藍營的人喜歡看中天，綠營 的人喜歡看三民自可能都屬這類。 勝利者偏誤(Champion Bias)是過度注意資訊提供者或計畫提案者的條件，身份與地位，特別是他們是所謂的勝利者，而忽視資訊本身的真實性或計畫本身的價值性。所以執行長的提案，大家不太會有意見，因為他是成功的企業家。或者，有些人會相信總統講說這個人論文是清白的，而不去注意論文本身是否有抄襲的事實。 還有一種是 自利導致的行為偏誤 。 自利是決策權衡時，偏向自己，自己的單位部門或組織。例如，政黨對黨內同志的不當行為通常較其他競爭政黨的人同樣行為來得寬容。所以，不太想去承認自己黨內的人論文抄襲的問題，但是會去批評別黨人論文抄襲的問題。政黨追求黨的利益而犧牲國家的利益，都屬這一類。 另外， 框架效果(Framing Effect)，心理帳戶(Mental Accounting Bias)，追求趨勢(Chasing Trends Bias) ，從 眾效果(Bandwagon Bias)都是可能的認知偏誤。 根據生理學家， 人腦有感性跟理性的系統...
閱讀完整內容

Statistics and machine learning (from Monica)

 統計學和機器學習是數據分析領域中的兩個重要領域，它們有許多相似之處，但也存在顯著的差異。以下是它們的比較： ### 1. 理論基礎 - **統計學**：   - 專注於數據的收集、分析、解釋和呈現，強調數據的概率模型。   - 注重推斷和假設檢驗，使用數學模型來理解數據的分佈和關係。 - **機器學習**：   - 專注於從數據中自動學習模式和規則，強調算法的設計和實現。   - 更加關注預測性能，通常使用大量數據進行訓練。 ### 2. 方法論 - **統計學**：   - 使用的模型和方法（如線性回歸、假設檢驗）通常是基於理論推導的。   - 常常需要對數據的分佈做出假設（如正態分佈）。 - **機器學習**：   - 使用各種算法（如決策樹、支持向量機、神經網絡）來從數據中學習。   - 更加靈活，對數據分佈的假設較少，能處理更複雜的數據結構。 ### 3. 目標 - **統計學**：   - 主要目的是推斷和解釋數據背後的結構，理解變量之間的關係。   - 注重模型的可解釋性和推論。 - **機器學習**：   - 主要目的是提高預測準確性，關注模型的性能。   - 常常使用“黑箱”模型，對模型的可解釋性要求較低。 ### 4. 數據需求 - **統計學**：   - 通常需要較小的數據集，重視數據質量和樣本代表性。   - 強調隨機抽樣和實驗設計。 - **機器學習**：   - 通常需要大量數據來訓練模型，數據量越大，模型性能通常越好。   - 可以處理噪聲和不完整數據。 ### 5. 應用場景 - **統計學**：   - 常用於社會科學、醫學研究、經濟學等領域，強調數據的解釋和推斷。 - **機器學習**：   - 常用於人工智能、計算機視覺、自然語言處理等領域，強調自動化和預測。 ### 總結 統計學和機器學習各有其優勢和應用場景。統計學更注重數據的解釋和推斷，而機器學習則更關注預測性能和自動化。根據具體的研究問題和數據特性，選擇合適的方法將有助於獲得更好的結果。
閱讀完整內容