Réduire Taille catalogues XML régies

[chrisfc]

Bonjour

Je rencontre quelques problèmes pour utiliser les catalogues XML des différentes régies d'affiliation ( CJ, Awin etc..)

Les catalogues sont d'une taille impressionnantes et je n'arrive pas à les lire et utiliser avec mes scripts habituels ( plantages serveurs etc).
Connaitriez vous une solution ( script / logiciel) pour en réduire la taille ou les découper en un / des fichiers xml plus petit(s) ?

Je suis un piètre programmeur :-)

Merci

Christophe

[Thomas]

Il faut un script qui les importe par tranches en faisant des pauses

pour eviter les php timeout que tu dois avoir

[Pronet]

Le pire de tous est celui de la Fnac (2Go dans mon souvenir)

De toute facon il faut pas y aller en mode bourrin sinon c'est sur que ca va planter

il faut idéalement en parser qu'une partie, et traiter par bouts les feeds

mais je te rassure c'est une plaie pour tout le monde les flux

surtout quand tu vois que les marchands changent leurs flux sans arret et que les plateformes changent leurs normes

et ca fait tout planter sur le comparateur illico...

[Sincerrant]

Oui il y aussi l'option de demander à l'annonceur de faire des xml par catégories, ca se fait parfois

du coup plus facile à traiter

[Millet]

Tu utilises une solution open source pour gérer tes flux, ou alors c'est du coding maison ?

je te conseille d'utiliser des solutions du marché si tu n'as pas les ressources sérieuses en dev en interne sinon tu risques de perdre beaucoup de temps et de devoir tout recoder à chaque changement de structure des flux

[stoff]

Prend toi un VPS quelconque pour gérer l'import via ssh !

 

Par exemple : tu importes tout, et tu exportes ensuite que les bouts qui t'intéressent.

[Thomas]

Oui mais la Stoff c'est du taf en manuel

quand les flux changent tous les jours ou presque faut un truc auto

[stoff]

?

Je n'ai jamais parlé de taff en manuel. Je conseil juste d'avoir une zone tampon (le vps) qui bosse H24 pour dumper les bases XML. Ensuite tu tapes dedans à la volée.

[Thomas]

ah oui d'accord, pardon j'avais mal compris

[Netilux]

Ca reste quand meme souvent des usines à gaz ces flux

ceux de Awin sont les pires à gérer, j'arrive pas à comprendre comment une boite d'une telle taille arrive à nous sortir des flux ingérables comme ca avec des erreurs partout

[Marie]

Bonjour Netilux

De quels flux parlez vous exactement ?