floating-point

3La chaleur

1Répondre

Conversion d'une valeur décimale en hexadécimal à virgule flottante 32 bits

Pour un utilitaire simple sur lequel je travaille, j'ai besoin d'un script qui convertisse une valeur décimale donnée en une valeur hexadécimale à virgule flottante de 32 bits. Par exemple, je sais qu

javascript floating-point decimal 32-bit hex 2010-06-20

---

0La chaleur

2Répondre

Windows Forms débordement de flotteur

Je ne sais pas ce qui a changé, mais pour une raison quelconque, je reçois un problème avec Visual Studio 2008 Concepteur Windows Forms: C++ CodeDOM parser error: Line: 1978, Column: 80 --- Float over

winforms visual-studio-2008 floating-point overflow designer 2010-06-21

---

2La chaleur

4Répondre

Comment contourner certaines erreurs d'arrondi?

J'ai une méthode qui traite de certaines coordonnées géographiques dans .NET, et j'ai une structure qui stocke une paire de coordonnées de sorte que si 256 est passé pour l'une des coordonnées, il dev

math floating-point double floating-accuracy epsilon 2010-06-23

---

7La chaleur

1Répondre

Générer la différence "floue" de deux fichiers en Python, avec une comparaison approximative des flottants

J'ai un problème pour comparer deux fichiers. Au fond, ce que je veux faire est un diff de type UNIX entre deux fichiers, par exemple: $ diff -u droit fichier fichier gauche Cependant mes deux fichier

python floating-point fuzzy-comparison inexact-arithmetic 2010-06-24

---

6La chaleur

3Répondre

Format double précision dans PostgreSQL

J'ai une table avec 3 colonnes: customer_name varchar ,account_type varchar ,current_balance double precision Exemples de valeurs pour current_balance: 1200 1500.5 1500 Je veux qu'ils affich

postgresql formatting floating-point 2010-06-26

---

5La chaleur

3Répondre

Comment convertir un flottant hexadécimal en flottant en C/C++ en utilisant _mm_extract_ps SSE GCC fonction instrinc

J'écris un code SSE en 2D convolution mais la documentation SSE est très clairsemée. Je calcule le produit scalaire avec _mm_dp_ps et j'utilise _mm_extract_ps pour obtenir le résultat du produit scala

c++ gcc floating-point hex sse 2010-06-28

---

8La chaleur

3Répondre

Performance en virgule flottante de 32 bits par rapport à 64 bits

J'ai rencontré un problème étrange. Un algorithme sur lequel je travaille se compose de beaucoup de calculs comme celui-ci q = x(0)*y(0)*z(0) + x(1)*y(1)*z(1) + ... où la longueur de la somme est co

performance floating-point precision 2010-06-29

---

1La chaleur

1Répondre

Lecture REAL à partir du fichier dans FORTRAN 77 - résultats impairs

Je suis actuellement en train de déconner dans FORTRAN 77 et j'ai rencontré un problème que je n'arrive pas à comprendre. Je suis en train de lire un fichier qui ressemble à ci-dessous: 000120 Descri

file file-io floating-point fortran fortran77 2010-06-30

---

2La chaleur

3Répondre

Date/heure stockée sous forme de virgule flottante, quel algorithme est utilisé?

J'ai accès à la base de données d'une application tierce et je vois un champ appelé "date" qui stocke les valeurs date/heure sous forme de nombres à virgule flottante, mais je ne sais pas comment ce n

language-agnostic datetime floating-point 2010-06-30

---

3La chaleur

1Répondre

Ada: déclaration constante

Je lis le livre Ada 95 de Norman Cohen et à la page 129, nous avons les déclarations constantes: Pi: constant Float := 3.1415926536 et Pi: constant := 3.1415926536 La deuxième déclaration est dit

floating-point constants ada 2010-07-05

---