Quelles propriétés du son peuvent être représentées/calculées dans le code?

Question

Celui-ci est probablement pour quelqu'un avec une certaine connaissance de la théorie musicale. Les humains peuvent identifier certaines caractéristiques de sons tels que la hauteur, la fréquence, etc. Sur la base de ces propriétés, nous pouvons comparer un son à un autre et obtenir une mesure de vraisemblance. Par exemple, il est assez facile de distinguer le son d'un piano de celui d'une guitare, même si les deux jouent la même note.

Si nous devions aller sur le même processus programme, en commençant par deux échantillons audio, quelles sont les propriétés des sons que nous pourrions calculer et utiliser pour effectuer nos comparaisons? Sur une note plus technique, y at-il des API populaires pour faire ce genre de choses?

P.S .: S'il vous plaît excusez-moi si je l'ai fait des erreurs élémentaires dans ma question ou je sonne comme un noob de musique complète. C'est parce que je suis un noob complet de la musique.

Answer 1

Il existe deux ensembles de propriétés.

Le "domaine de fréquence" - les amplitudes des harmoniques dans un échantillon spécifique. Ce sont les amplitudes de chaque harmonique. Le "domaine temporel" - la séquence d'échantillons d'amplitude dans le temps.

Vous pouvez, en utilisant Fourier Transforms, convertir entre les deux.

Le domaine temporel est ce que le son "est" - une séquence d'amplitudes. Le domaine fréquentiel est ce que nous "entendons" - un ensemble d'harmoniques et de hauteurs qui déterminent les instruments, les harmonies et la dissonance.

Un mélange des deux - des fréquences variant dans le temps - est la perception de la mélodie.

Answer 2

Toutes les propriétés du son peuvent être représentées/calculées - vous avez juste besoin de savoir comment. L'un des plus intéressants est l'analyse spectrale/spectrogramme (voir).

Answer 3

Ignore tous les termes créés par l'homme arbitraires que vous pouvez ne pas connaître, et d'envisager une description plus simple de la réalité.

Sound, comme toute autre chose que nous percevons est tout simplement un modèle spatio-temporel, dans ce cas « de mouvement » ... des atomes (particules d'air, cordes de piano, etc.). Le mouvement des objets entraîne des mouvements d'air qui créent des ondes de pression dans l'oreille, que nous interprétons comme des sons.

Calculé, il est facile de modéliser; cependant, parce que ce mouvement peut être n'importe quel modèle - d'une secousse aléatoire violente à une oscillation très régulière - il n'y a souvent aucune «fréquence» identifiable constante, parce que ce n'est souvent pas une oscillation parfaitement régulière. La forme de l'objet en mouvement, les ondes qui se répercutent à travers lui, etc. provoquent tous des motifs très complexes dans l'air ... comme les vagues que vous verriez si vous frappiez un bassin d'eau. Le problème se réduit à l'identification de motifs et de caractéristiques de mouvement communs (à des vitesses très élevées). Parce que les modèles sont arbitraires, vous avez vraiment besoin d'un système qui apprend et classifie les modèles courants de mouvement (c'est-à-dire représentés numériquement dans l'ordinateur) dans divers types de squelettes conceptuels.

Answer 4

Toutes les propriétés que vous souhaitez peuvent être mesurées ou représentées dans le code. Qu'est-ce que tu veux?

Voulez-vous tester si deux échantillons proviennent du même instrument? Que deux échantillons d'instruments différents ont le même ton? Que deux échantillons ont la même amplitude?La même décadence? Que deux sons ont des centroïdes spectraux similaires? Que deux échantillons sont identiques? Qu'ils sont identiques mais peut-être que l'un a été réverbéré ou passé à travers un filtre?

Answer 5

The Echo Nest a une analyse facile à utiliser apis pour trouver tout ce que vous voudrez peut-être savoir sur un morceau de musique.

Vous trouverez peut-être the analyze documentation (avertissement, lien pdf) utile.