Afhænger forskellen mellem P (A | B) og den marginale sandsynlighed P (A) af fordelingen af ​​A og B? For eksempel lærer jeg typisk mere, hvis B er kontinuerlig og eksponentiel kontra diskret og ensartet?


Svar 1:

[Edit: 17:33 EST - Beklager, jeg havde travlt, så jeg var slurvet med mit svar, jeg fik et par tvivlsomme øjeblikke, som at kalde KL-metrisk, når det ikke er i streng forstand er et]

-Forklaring - Jeg antager, at du er interesseret i forholdet P (A) og P (A | B), og prøver at kontrollere, om P (A) er "tæt på P (A | B) (" forskellen "i dit spørgsmål ). Du kender ikke formen for P (A | B), men du kender formen af ​​P (A) og P (B)

Din modelleringsforudsætning er, at P (B) er en fordeling af en bestemt form, og at P (A) er en fordeling af en bestemt form. Du spørger, om du kan:

1) beregne den betingede P (A | B) for enhver vilkårlig P (A) og P (B): - Generelt siger ikke for enhver vilkårlig fordelingsform af marginaler meget om formen for den betingede, så svaret er nej.

2) beregne forskellen mellem P (A | B) og P (A) kun ved P (A) og P (B) uden yderligere antagelser om modellering:

En ordentlig metrisk (ja, ikke en ægte metrisk, men alligevel nyttig) distributionsforskellighed er KL divergens, så for at beregne det skal du kende både den distribution, du vil sammenligne.

Da du ikke kender P (A | B), kan du ikke beregne divergensen.