Другое > Hard'n'Soft
Определитель ложных байтов
Sharpnull:
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---чем отличаются CRC-32, MD5, MD4, Adler-32, Whirlpool и др
--- Конец цитаты ---
Алгоритмом, длиной, необходимыми вычислениями (скорость). Чем длиннее, тем меньше вероятность колизии хешей, если один вдруг совпал, то другие очень маловероятно совпадут для одного файла.
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---какой тип хэша в Интернете применяется.
--- Конец цитаты ---
CRC32 (CRC) часто используют (7z, zip, rar), но он короткий. Остальные известные MD5, SHA-1. Все три используют: http://redump.org/, https://datomatic.no-intro.org/, https://segaretro.org/. CRC32 + SHA-1: MAME. FBNeo: CRC32. Ubuntu: раньше MD5, SHA-1, SHA-256, теперь вижу только SHA-256, у них ещё задача, чтобы никто не подменил файлы и суммы.
--------
Про коллизии. Я как-то решил проверить, будет ли коллизия для ромов NES в стандартной прошивке NES Classic Edition, потому что там используется длина меньше CRC32, из, кажется, No-Intro совпали 2.
Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух.
blackoff:
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---программу хэша для Android.
--- Конец цитаты ---
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---какой тип хэша в Интернете применяется
--- Конец цитаты ---
телефон? а что за типы файлов ты собрался хешировать?
MetalliC:
--- Цитата: Sharpnull от 28 Август 2020, 21:30:31 ---Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух.
--- Конец цитаты ---
у CRC32 главный недостаток - оно очень легко подделывается.
более того, некоторые производители специально таким развлекались, к примеру у Sega в некоторых устройствах 20-летней давности ромы разных версий и с разным содержимым имеют всегда одну и ту же CRC32. так что для идентификации данных этот алгоритм не годится, но нужен для быстрого поиска бинарников в архивах, потому в эмуляторах часто используется в паре с более надежными MD5 или SHA1/256
Drowfan:
До сих пор говорили про файловые, оффлайновые хэши, теперь надо знать про Интернет-хеши — то есть, проверку загрузки сайтов, картинок, онлайн-видео и т.д. Признаться мне, у меня зачастую сайты грузятся не так, как надо, к примеру, кадры с кучей эффектов выдают артефакты в HD-качестве. И потом у меня мобильный Интернет. Так что не прочь узнать информацию о кило- и мегабайтах перед и после загрузки страницы, изображения, музыки, видео и пр. Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия). Надеюсь, я все грамотно и понятно расписал.
И если кто может, то помогите мне развеять сомнения в правильной закачке.
blackoff:
Thorenlawar, сколько тебе времени нужно что бы такое выдумать?
Drowfan:
blackoff, да я же говорю о качестве загрузки сайтов и прочего онлайна. А это тоже очень важно. Не менее важно, чем проверка файлов на целостность вне сети.
blackoff:
--- Цитата: Thorenlawar от 02 Октябрь 2020, 18:12:54 ---о качестве загрузки сайтов и прочего онлайна.
--- Конец цитаты ---
по идее об этом позаботились уже умные головы
Yoti:
Фея в край поехала и придумала то, чего нет и быть не может.
Drowfan:
Вот я залил один из архивов в сеть и скачал его же, проверил контрольную сумму копий, md5, результат — суммы совпадают.
Mech:
--- Цитата: Thorenlawar от 02 Октябрь 2020, 17:53:13 ---Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия).
--- Конец цитаты ---
По идее, это всё в самой программе уже есть. Нет смысла делать одну и ту же работу дважды.
Drowfan:
Я установил на мой телефон программу Internet Speed Meter Lite. Конечно, удобно, что можно наблюдать скорость, а также мегабайты, но это приложение не подсчитывает потерянные байты. Да и вообще в нем нет сортировки по байтам и килобайтам — а это важно. Неужели мне пора сдаваться в явлении потерянных байтов?
Guyver(X.B.M.):
Теперь хоть понятно что тебе нужно было. Ты хотел скачивать файлы с интернета (не из торрента) и быть уверенным, что всё скачалось? :lol: Так бы сразу и писал, а то "с флешки на флешку" и т.д. :lol:
Твоя задача невыполнима тогда, с чем ты будешь сравнивать-то данные файла? :neznayu:
Drowfan:
--- Цитата: Guyver(X.B.M.) от 02 Ноябрь 2020, 17:53:02 ---с чем ты будешь сравнивать-то данные файла?
--- Конец цитаты ---
Наверное, с программой, которая считает потерянные байты (BitTorrent-программы не в счет).
Sharpnull:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 18:24:32 ---Наверное, с программой, которая считает потерянные байты
--- Конец цитаты ---
Если не ошибаюсь, протоколы передачи от 4-го и выше (TCP и т. п.) гарантируют передачу данных (отдельных пакетов/частей), а потерянные байты в статистике не означают, что они не доставлены следующим пакетом.
К тому же, если файлы на сервере побились, то без контрольной суммы оригинального файла даже нет смысла проверять на то, что файл не докачался.
Drowfan:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 19:09:36 ---Если не ошибаюсь, протоколы передачи от 4-го и выше (TCP и т. п.) гарантируют передачу данных (отдельных пакетов/частей), а потерянные байты в статистике не означают, что они не доставлены следующим пакетом.
К тому же, если файлы на сервере побились, то без контрольной суммы оригинального файла даже нет смысла проверять на то, что файл не докачался.
--- Конец цитаты ---
Только где найти настройки протоколов от 4-го и выше и как настроить? И, простите меня за не очень хорошую память, какой программой проверки контрольной суммы воспользоваться? Неужто WinRAR’ом или Total Commander’ом?
blackoff:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 19:39:18 ---какой программой проверки контрольной суммы воспользоваться? Неужто WinRAR’ом или Total Commander’ом?
--- Конец цитаты ---
у тебя эта сумма должна быть ,вот пример во 2 коменте ,зная сумму можешь проверить свой файл тем что умеет их считать
Sharpnull:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 19:39:18 ---Только где найти настройки протоколов от 4-го и выше и как настроить?
--- Конец цитаты ---
Их не нужно настраивать, они просто работают. Читайте про работу сетей.
Кстати, я не знаю, можно ли удостовериться, что файл скачан полностью, где-то написано:
--- Цитата ---If a TCP packet was dropped during the download, the file you’ve downloaded may be just a hair off, and performing a file verification would let you know that what you downloaded is different than what is available on the source server.
--- Конец цитаты ---
У одного менеджера загрузок написано, когда может быть испорчен файл, только не понятно, если программа не написала об ошибке, значит ли всё в порядке: https://www.internetdownloadmanager.com/register/new_faq/problems9.html. Всякие программы безопасности могут вмешаться, какие-то акселераторы интернета, прокси-сервера, сервера без возможности остановки загрузки.
blackoff:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 19:52:57 ---Кстати, я не знаю, можно ли удостовериться, что файл скачан полностью
--- Конец цитаты ---
бывают битые качаются ,хорошо если это архив или есть сумма ,а так хз как проверить ...
Sharpnull:
blackoff, я тут нашёл обсуждение про влияние скорости на корректность: https://superuser.com/questions/108378/. Там пишут, если менеджер загрузки нормальный, проблем с софтом и железом нет, сервер отдаёт правильно, то проблемы не должно быть. Теоретически проблема может в проверке TCP. То есть, да, без контрольных сумм никуда.
На счёт флешок. У меня неправильно передавались данные на флешку, недавно понял, что это из-за использования передних USB 3.0 портов: в одном флешка, в другом постоянно внешний жёсткий диск. Не знаю, мешает ли жёсткий диск или что-то с портом, но через задние порты ошибок вроде не было.
DDD:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 20:15:21 ---На счёт флешок. У меня неправильно передавались данные на флешку, недавно понял, что это из-за использования передних USB 3.0 портов: в одном флешка, в другом постоянно внешний жёсткий диск. Не знаю, мешает ли жёсткий диск или что-то с портом, но через задние порты ошибок вроде не было.
--- Конец цитаты ---
Забавно, у меня на компе тоже такая странность была с фронтальными (передними) USB 2.0 разъемами - флешка 16 ГБ нормально работает с разъемами на материнской платы, но появляются какие-то проблемы/странности с фронтальными - не помню точно, но явно были проблемы, скорость копирования файлов падала сильно и в целом какие-то затупы.
Возможно, на это повлияло также, что до этого были установлены на компе драйверы ЮСБ для телефона/смартфона, но по идее такое разделение ЮСБ на задней или передней части не должно быть, короче, очень странно это.
Навигация
Перейти к полной версии