| Другое > Hard'n'Soft |
| Определитель ложных байтов |
| << < (2/4) > >> |
| Sharpnull:
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---чем отличаются CRC-32, MD5, MD4, Adler-32, Whirlpool и др --- Конец цитаты --- Алгоритмом, длиной, необходимыми вычислениями (скорость). Чем длиннее, тем меньше вероятность колизии хешей, если один вдруг совпал, то другие очень маловероятно совпадут для одного файла. --- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---какой тип хэша в Интернете применяется. --- Конец цитаты --- CRC32 (CRC) часто используют (7z, zip, rar), но он короткий. Остальные известные MD5, SHA-1. Все три используют: http://redump.org/, https://datomatic.no-intro.org/, https://segaretro.org/. CRC32 + SHA-1: MAME. FBNeo: CRC32. Ubuntu: раньше MD5, SHA-1, SHA-256, теперь вижу только SHA-256, у них ещё задача, чтобы никто не подменил файлы и суммы. -------- Про коллизии. Я как-то решил проверить, будет ли коллизия для ромов NES в стандартной прошивке NES Classic Edition, потому что там используется длина меньше CRC32, из, кажется, No-Intro совпали 2. Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух. |
| blackoff:
--- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---программу хэша для Android. --- Конец цитаты --- --- Цитата: Thorenlawar от 28 Август 2020, 19:30:12 ---какой тип хэша в Интернете применяется --- Конец цитаты --- телефон? а что за типы файлов ты собрался хешировать? |
| MetalliC:
--- Цитата: Sharpnull от 28 Август 2020, 21:30:31 ---Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух. --- Конец цитаты --- у CRC32 главный недостаток - оно очень легко подделывается. более того, некоторые производители специально таким развлекались, к примеру у Sega в некоторых устройствах 20-летней давности ромы разных версий и с разным содержимым имеют всегда одну и ту же CRC32. так что для идентификации данных этот алгоритм не годится, но нужен для быстрого поиска бинарников в архивах, потому в эмуляторах часто используется в паре с более надежными MD5 или SHA1/256 |
| Drowfan:
До сих пор говорили про файловые, оффлайновые хэши, теперь надо знать про Интернет-хеши — то есть, проверку загрузки сайтов, картинок, онлайн-видео и т.д. Признаться мне, у меня зачастую сайты грузятся не так, как надо, к примеру, кадры с кучей эффектов выдают артефакты в HD-качестве. И потом у меня мобильный Интернет. Так что не прочь узнать информацию о кило- и мегабайтах перед и после загрузки страницы, изображения, музыки, видео и пр. Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия). Надеюсь, я все грамотно и понятно расписал. И если кто может, то помогите мне развеять сомнения в правильной закачке. |
| blackoff:
Thorenlawar, сколько тебе времени нужно что бы такое выдумать? |
| Drowfan:
blackoff, да я же говорю о качестве загрузки сайтов и прочего онлайна. А это тоже очень важно. Не менее важно, чем проверка файлов на целостность вне сети. |
| blackoff:
--- Цитата: Thorenlawar от 02 Октябрь 2020, 18:12:54 ---о качестве загрузки сайтов и прочего онлайна. --- Конец цитаты --- по идее об этом позаботились уже умные головы |
| Yoti:
Фея в край поехала и придумала то, чего нет и быть не может. |
| Drowfan:
Вот я залил один из архивов в сеть и скачал его же, проверил контрольную сумму копий, md5, результат — суммы совпадают. |
| Mech:
--- Цитата: Thorenlawar от 02 Октябрь 2020, 17:53:13 ---Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия). --- Конец цитаты --- По идее, это всё в самой программе уже есть. Нет смысла делать одну и ту же работу дважды. |
| Drowfan:
Я установил на мой телефон программу Internet Speed Meter Lite. Конечно, удобно, что можно наблюдать скорость, а также мегабайты, но это приложение не подсчитывает потерянные байты. Да и вообще в нем нет сортировки по байтам и килобайтам — а это важно. Неужели мне пора сдаваться в явлении потерянных байтов? |
| Guyver(X.B.M.):
Теперь хоть понятно что тебе нужно было. Ты хотел скачивать файлы с интернета (не из торрента) и быть уверенным, что всё скачалось? :lol: Так бы сразу и писал, а то "с флешки на флешку" и т.д. :lol: Твоя задача невыполнима тогда, с чем ты будешь сравнивать-то данные файла? :neznayu: |
| Drowfan:
--- Цитата: Guyver(X.B.M.) от 02 Ноябрь 2020, 17:53:02 ---с чем ты будешь сравнивать-то данные файла? --- Конец цитаты --- Наверное, с программой, которая считает потерянные байты (BitTorrent-программы не в счет). |
| Sharpnull:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 18:24:32 ---Наверное, с программой, которая считает потерянные байты --- Конец цитаты --- Если не ошибаюсь, протоколы передачи от 4-го и выше (TCP и т. п.) гарантируют передачу данных (отдельных пакетов/частей), а потерянные байты в статистике не означают, что они не доставлены следующим пакетом. К тому же, если файлы на сервере побились, то без контрольной суммы оригинального файла даже нет смысла проверять на то, что файл не докачался. |
| Drowfan:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 19:09:36 ---Если не ошибаюсь, протоколы передачи от 4-го и выше (TCP и т. п.) гарантируют передачу данных (отдельных пакетов/частей), а потерянные байты в статистике не означают, что они не доставлены следующим пакетом. К тому же, если файлы на сервере побились, то без контрольной суммы оригинального файла даже нет смысла проверять на то, что файл не докачался. --- Конец цитаты --- Только где найти настройки протоколов от 4-го и выше и как настроить? И, простите меня за не очень хорошую память, какой программой проверки контрольной суммы воспользоваться? Неужто WinRAR’ом или Total Commander’ом? |
| blackoff:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 19:39:18 ---какой программой проверки контрольной суммы воспользоваться? Неужто WinRAR’ом или Total Commander’ом? --- Конец цитаты --- у тебя эта сумма должна быть ,вот пример во 2 коменте ,зная сумму можешь проверить свой файл тем что умеет их считать |
| Sharpnull:
--- Цитата: Thorenlawar от 02 Ноябрь 2020, 19:39:18 ---Только где найти настройки протоколов от 4-го и выше и как настроить? --- Конец цитаты --- Их не нужно настраивать, они просто работают. Читайте про работу сетей. Кстати, я не знаю, можно ли удостовериться, что файл скачан полностью, где-то написано: --- Цитата ---If a TCP packet was dropped during the download, the file you’ve downloaded may be just a hair off, and performing a file verification would let you know that what you downloaded is different than what is available on the source server. --- Конец цитаты --- У одного менеджера загрузок написано, когда может быть испорчен файл, только не понятно, если программа не написала об ошибке, значит ли всё в порядке: https://www.internetdownloadmanager.com/register/new_faq/problems9.html. Всякие программы безопасности могут вмешаться, какие-то акселераторы интернета, прокси-сервера, сервера без возможности остановки загрузки. |
| blackoff:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 19:52:57 ---Кстати, я не знаю, можно ли удостовериться, что файл скачан полностью --- Конец цитаты --- бывают битые качаются ,хорошо если это архив или есть сумма ,а так хз как проверить ... |
| Sharpnull:
blackoff, я тут нашёл обсуждение про влияние скорости на корректность: https://superuser.com/questions/108378/. Там пишут, если менеджер загрузки нормальный, проблем с софтом и железом нет, сервер отдаёт правильно, то проблемы не должно быть. Теоретически проблема может в проверке TCP. То есть, да, без контрольных сумм никуда. На счёт флешок. У меня неправильно передавались данные на флешку, недавно понял, что это из-за использования передних USB 3.0 портов: в одном флешка, в другом постоянно внешний жёсткий диск. Не знаю, мешает ли жёсткий диск или что-то с портом, но через задние порты ошибок вроде не было. |
| DDD:
--- Цитата: Sharpnull от 02 Ноябрь 2020, 20:15:21 ---На счёт флешок. У меня неправильно передавались данные на флешку, недавно понял, что это из-за использования передних USB 3.0 портов: в одном флешка, в другом постоянно внешний жёсткий диск. Не знаю, мешает ли жёсткий диск или что-то с портом, но через задние порты ошибок вроде не было. --- Конец цитаты --- Забавно, у меня на компе тоже такая странность была с фронтальными (передними) USB 2.0 разъемами - флешка 16 ГБ нормально работает с разъемами на материнской платы, но появляются какие-то проблемы/странности с фронтальными - не помню точно, но явно были проблемы, скорость копирования файлов падала сильно и в целом какие-то затупы. Возможно, на это повлияло также, что до этого были установлены на компе драйверы ЮСБ для телефона/смартфона, но по идее такое разделение ЮСБ на задней или передней части не должно быть, короче, очень странно это. |
| Навигация |
| Главная страница сообщений |
| Следующая страница |
| Предыдущая страница |