Linux

Linux USB HDD Disk vrlo niska brzina

Mirko4464 ned 17.12.2017 01:33

 Pozdrav, Imam čudan problem sa svakim (vjerojatno) novim diskom koji kupim.


Moj hardver:
Laptop: Thinkpad T470
Glavni sustav: Ubuntu MATE 16.04.02
Rijetko korišteni: Windows 10


Pošto moj stari disk (320GB) ima loše blokove odlučio sam kupiti novi hibridni (Seagate ST1000LX015) sa 1TB prostora, stavio sam ga u jednu JMikron eksternu kutiju da ga mogu koristiti sa laptopom.
Prvo sam naopravio benchmark sa sa Gnome Disks aplikacijom i sve je bilo uredu, brzina ~140 MB/s max i ~100 MB/s prosječna.
Kada sam počeo prebacivati podatke sa starog na novi disk, radio je ok do oko 150 GB i onda počeo biti jako spor <1 MB/s, brzinu sam pratio sa iotop CLI programom pošto linu file manageri netočno prikazuju brzinu i količinu zapisanog zbog Linux cache-a.

Mogu potvrditi da stari disk nije bio problem pošto nije blicao niti je bio blokiran (mogao sam se kretati folderima i čitati file-ove), novi disk je bio blokiran pa nisam mogao ništa raditi na njemu (počeo sam to testirati tek nakon što sam primjetio problem sa brzinom) i stalno je blicao.

Tada nisam znao da se i preko usb-a mogu čitati SMART podaci tako da nisam mogao vidjeti temperaturu ali bio je dosta topao disk.
Bio sam ga priključio na desktop PC gdje su SMART podaci pokazali jako veliki broj read grešaka.
Mislio sam da je tvornička greška pa sam zatražio zamjenu za isti.

Kada sam dobio taj disk kupio sam i jednu USB ladicu ali i sa tom ladicom i diskom sam dobio iste rezultate pa sam dobio povrat novca pošto je disk radio normalno kod njih.

Nakon svega toga naučio sam kako se mogu doznati SMART podaci i preko USB-a sa pomoću smartctl CLI naredbe.
linux pa sam ovaj puta kupio 1TB eksterni disk (Adata HV620 ili AHV620-1TU3-CBK)
Testirao sam disk sa Gnome Disks alatom i prosječna brzina čitanja je bila ~100 MB/s a pisanja ~70 MB/s sa malo fluktuacija (osim Write brzine koja je došla i do 14 MB/s pri kraju)
Stavio sam kopiranje istih podataka kao i kod prošlih i isto nako ~150 GB počeli su problemi i jako niske brzine a stari disk je radio normalno

Ovaj puta SMART podaci nisu pokazivali read greške
Stari disk je bio na ~30°C dok je novi bio na ~40°C

Sa tim niskim brzinama uspio sam prebaciti sve podatke, izvršio sam sync naredbu da se sav cache zapiše na disk i testirao opet brzine, brzina čitanja je bila oko 70 MB/s sa velikim fluktuacijama a pisanja manje od 1 MB/s
I opet je novi disk stalno klikao a nisam prebacivao nikakve podatke nije je iotop pokazivao velike promjene (većinom 0 B/s) a i LED nije blicao

Nakon par sati što ga ostavim da klika brzina se popravi na trenutak.

Danas sam bio napravio extended test tog diska u ubuntu sustavi nakon čega je brzina bila donekle dobra ~80 MB/s pa sam otišao u Windows 10 gdje je disk radio odlično sa transferom istih podataka osim normalno malih fajlova ali se nikad ne blokira pristup, ili je velik broj izmjena trenutnog fajla ili je velika brzina.

Šta mogu napraviti ovdje? ima li netko iskustva?

 

Moja teorija je da nakon transfera u linuxu dođe do nekog problema koju uključi automatske SMART testove koji zauzmu sav bandwidth (klikanje bez PC -> HDD transfera)

Evo i threada na tomshardware za isti problem
http://www.tomshardware.co.uk/forum/id-3593809/linux-usb-hdd-drives-failing.html

Mirko4464 ned 17.12.2017 21:42

Nažalost sync mount opcija nije bila problem, provjerio sam kod starog in novog diska i niti jedna particija nema sync mount opciju uključenu.

Mislio sam isprobati neke stare distribucije da probam, i da, isto se događa i na Fedori 27 Live

Mirko4464 uto 19.12.2017 01:10

Samo da javim da sam pronašao rješenje, toliko muke a riješenje jednostavno, samo sam trebao isključiti USB autosuspend pomoću powertop naredbe i disk sada radi odlično kao i na Windows-u.

 

Svejedno hvala na pomoći i savjetima Patrick_cro.

Mirko4464 uto 26.12.2017 21:33

izgleda da USB autosuspend  nije bio problem, Kupio sam USB 3.0 Hub sa vanjskim napajanjem od 2A ali nakon par GB prijenosa dobijem isti problem, Kad čitam brzinu preko iostat naredbe "iostat -xhdm 2 /dev/sdb " piše točno 1 MB/s sa jednim write requestom po sekundi.

Prebacivao sam datoteku od 4.7 GB na novu NTFS formatiranu particiju

Pokušao sam i zero out cijeli disk sa naredbom "sudo dd if=/dev/zero of=/dev/sdb bs=10M status=progress"  koja je išla normalnom brzinom od 130 MB/s

Kada sam ponovo napravio NTFS particiju sa MBR, imao sam isti problem sa brzinom.

Na Windows 10 sam puno puta prebacio isti fajl i radi sasvim normalnom brzinom od 100-130 MB/s (preko USB hub-a)

 

iostat naredba tijekom prebacivanja fajla od 4.7GB (prikazuje dio gdje se brzina smanji, ~200MB pri kraju se brzina popne...), sdb je novi Adata disk, fajl se nalazi na NVME SSD-u:

Device:     rrqm/s  wrqm/s   r/s   w/s   rMB/s   wMB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
sdb        0,00  1733,00   0,00  101,00   0,00   11,06  224,20  144,32 1548,67   0,00 1548,67  9,90 100,00
sdb        0,00 19165,00   0,00  141,00   0,00   10,31  149,76  143,09 1291,76   0,00 1291,76  7,09 100,00
sdb        0,00  4078,00   0,00  16,00   0,00   16,00  2047,50  142,84 2319,12   0,00 2319,12  62,50 100,00
sdb        0,00  8156,00   0,00  32,00   0,00   31,99  2047,38  146,95 3813,38   0,00 3813,38  31,25 100,00
sdb        0,00  8035,50   0,00  24,00   0,00   23,99  2046,83  145,41 5396,75   0,00 5396,75  41,67 100,00
sdb        0,00  8156,00   0,00  32,00   0,00   31,98  2047,00  144,62 5235,56   0,00 5235,56  31,25 100,00
sdb        0,00  3187,00   0,00  24,00   0,00   23,99  2047,33  143,84 5218,67   0,00 5218,67  41,67 100,00
sdb        0,00  7900,00   0,00  31,00   0,00   30,52  2016,13  140,51 5235,94   0,00 5235,94  32,26 100,00
sdb        0,00  7520,50   0,00  24,00   0,00   23,99  2046,83  139,42 5276,33   0,00 5276,33  41,67 100,00
sdb        0,00  7381,50   0,00  32,00   0,00   31,98  2047,00  148,57 4896,25   0,00 4896,25  31,25 100,00
sdb        0,00  7903,00   0,00  24,00   0,00   23,99  2047,17  146,95 4936,42   0,00 4936,42  41,67 100,00
sdb        0,00  7903,50   0,00  31,00   0,00   28,96  1912,90  144,07 5171,29   0,00 5171,29  32,26 100,00
sdb        0,00  4079,00   0,00  25,00   0,00   24,99  2047,52  145,76 5268,48   0,00 5268,48  40,00 100,00
sdb        0,00  3951,50   0,00   9,50   0,00   9,50  2047,58  150,05 5390,32   0,00 5390,32 105,26 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  148,26 7742,00   0,00 7742,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  146,39 9868,00   0,00 9868,00 1000,00 100,00
sdb        0,00   0,00   0,00   0,50   0,00   0,50  2048,00  144,49 11460,00   0,00 11460,00 2000,00 100,00
sdb        0,00   0,00   0,00   3,00   0,00   3,00  2046,67  142,78 13976,00   0,00 13976,00 334,00 100,20
Device:     rrqm/s  wrqm/s   r/s   w/s   rMB/s   wMB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
sdb        0,00   0,00   0,00   3,50   0,00   3,50  2048,00  132,88 15013,71   0,00 15013,71 285,71 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  129,35 17470,00   0,00 17470,00 1000,00  99,50
sdb        0,00  4079,00   0,00   1,00   0,00   1,00  2048,00  133,32 19612,00   0,00 19612,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2044,00  158,28 21756,00   0,00 21756,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  156,40 22706,00   0,00 22706,00 1000,00 100,00
sdb        0,00   0,00   0,00   0,50   0,00   0,50  2048,00  154,51 24324,00   0,00 24324,00 2000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  152,58 25884,00   0,00 25884,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  150,76 28064,00   0,00 28064,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  148,92 30220,00   0,00 30220,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  147,06 32358,00   0,00 32358,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  145,18 34476,00   0,00 34476,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  143,27 36566,00   0,00 36566,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2044,00  141,34 38634,00   0,00 38634,00 1000,00 100,00
Device:     rrqm/s  wrqm/s   r/s   w/s   rMB/s   wMB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
sdb        0,00   0,00   0,00   0,50   0,00   0,50  2048,00  139,47 40240,00   0,00 40240,00 2000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  137,56 41852,00   0,00 41852,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  135,72 44012,00   0,00 44012,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  133,90 46192,00   0,00 46192,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  131,97 48258,00   0,00 48258,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  130,11 50396,00   0,00 50396,00 1000,00 100,00
sdb        0,00  4079,00   0,00   1,00   0,00   1,00  2048,00  131,63 52536,00   0,00 52536,00 1000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2044,00  158,36 53540,00   0,00 53540,00 1000,00 100,00
sdb        0,00   0,00   0,00   0,50   0,00   0,50  2048,00  156,47 55132,00   0,00 55132,00 2000,00 100,00
sdb        0,00   0,00   0,00   1,00   0,00   1,00  2048,00  154,56 56744,00   0,00 56744,00 1000,00 100,00