ビッグデータのサンプリング：小さなサンプル、大きな答え

最近のインタビューで、Hadley Wickham氏は、適切なサブセット、サンプル、またはサマリーがあれば、多くのビッグデータ問題は実際には小さなデータ問題であると強調しました。この記事では、ビッグデータ分析における効率的なサンプリングについて掘り下げています。ナルコレプシーのヤギにサービスを提供する会社Goatlyの例を用いて、著者はロジスティック回帰に適切なサンプルサイズを計算する方法を示しています。結論として、10万の農場を正確に表現するには、約2345個のサンプルが必要であるとされています。この記事では、サンプルサイズ計算のためのPythonスクリプトとオンラインツールについても詳しく説明し、統計的検出力の概念にも簡単に触れています。