Как я взял 4 дедика за 219 т. р. для майнинга чиа и облажался (часть 2)

5 дней назад я потратил 219 тыс. руб. на покупку серверов для майнинга чиа в кредит. Конфигурации и другие подробности здесь:

Как я арендовал 4 сервера за 219 тыс. руб. для майнинга чиа (в кредит!)

Сегодня я проснулся в 5 утра. Не могу уснуть, бессонница. Я в отчаянии. Нет, не так. Я в ах.е и полной жопе! Не знаю, что делать, состояние полной беспомощности.

Ведь я уже заплатил 24000 рублей за сборку 4 серверов. А за аренду каждый день капает 7000 рублей.

 За эти 5 дней на текущий момент я сформировал всего (всего!) 3 плота.

Ни..я не работает. И не помогает вся эта, б..ть, целая армия консультантов в моем же, сука, чате Chia FAQ (который я позже переименовал в «CHIA DREAM» и сделал закрытым) в котором сейчас уже почти 5700 активных подписчиков.

Как бесплатно попасть в закрытый чат «Чиа Дрим» – читай здесь.

Что это за чиа такое? Ведь идея в том, что майнить сможет даже чайник, даже на смартфоне. А сейчас даже у самых крутых сисадминов проблемы и куча вопросов. И какой нафиг смартфон? Я арендовал мощнейший сервер за 85 000 рублей в месяц и уже и этого мало.

Разрабы используют нас как подопытных кроликов для отладки нового и глючного софта…

А ведь мы с Артемом (моим сисадмином) запустили первый маленький сервер, и все работало. И мы, радостно потирая руки, взяли очень мощный плоттер и 3 сервера под фермы.

Только вот на маленьком сервере все работало, а от этого большого сервака как от козла молока. Всего три плота сделали до сих пор.

Имя моего большого сервера Super Rontgen):

AMD EPYC 7742 (64x2.25 ГГц), 4 × 64 ГБ DDR4 ECC Reg, 4 × 3840 ГБ ssd, H11SSL-i-Б, 2u, 2PSU

он создает один плот за 13 часов!

А стоит 85 000 рублей в месяц!

А вот первый Rontgen, не супер, просто маленький Ронтгенчик:

Intel Xeon W-2255: 10 × 3.7ГГц, 128 ГБ DDR4, 2 × 960 ГБ NVMe, 2 × 8 ТБ HDD

делает 1 плот за 8 часов и стоит он 21000 рублей в месяц.

Как думаете, в чем разница? Где узкое место?

Жесткие диски! У нас на все хватает ресурсов с запасом, а вот SSD-диски почти все время загружены на 100%.

Не берите SSD!

NVME дает в разы лучшие результаты.

Мы когда выбирали конфигурацию для мощного сервера, то ориентировались на наш опыт с первым серваком, а также на знаменитую таблицу конфигураций с сайта chia.net (https://github.com/Chia-Network/chia-blockchain/wiki/Reference-Plotting-Hardware). Не верьте этой таблице! Похоже, что там ряд конфигураций – вранье. Ну не сделаете вы плот за 4 часа на SSD! Ну никак!

А если знаете, как можно делать плот за 4 часа на SSD, то поделитесь в комментариях. Я поклонюсь в ноги, если сработает ваш совет.

Лирическое отступление

Мой сисадмин, Артем, уже просто затрахался с этим долбанным сервером. У него отпуск сейчас. Он поехал к родителям. Мы думали, что он за пару часов настроит серверы, и все. Но ему приходится уже несколько дней целыми днями заниматься только этим. При этом у него еще родители заболели, и на работе проблемы, его с работы еще удаленно грузят.

Вот, блин, испортил я отпуск человеку!!!

При этом я и сам заболел и у меня была температура под 40, я обустраиваюсь в этот же период в новой квартире в Краснодаре (куда недавно переехал), у меня ограбили бабулю, и она потеряла память на один день, и еще прос..аю деньги на сервак в кредит.

У меня были мысли бросить все к чертям собачьим, но я решил, что нет – я буду биться до последнего.

А Артему огромное спасибо, что он не бросил все и борется вместе со мной. Мне очень повезло, что я встретил такого человека, как он.

Да уж, точно, когда-нибудь я буду рассказывать эту историю внукам)…

Технические подробности: почему так долго?

Я заказал плоттер Super Rontgen (Windows Server 2019) в Селектеле и попросил собрать диски SSD в Raid0. Они собирали сервак и забыли сделать Raid0(. А потом сказали, что это невозможно и что надо докупать контроллер.

Я объяснил им ситуацию, что они неправы, немного попереписывался с ними, и они добавили этот контроллер мне бесплатно. Но на этом я потерял почти один день(.

Как я радовался и потирал руки, когда мы поставили на засеивание 29 плотов на Raid0 (4 × 3840 ГБ)  и это был полный провал!

Сначала у нас плоты засеивались неравномерно, все шло часами и очень медленно, а  потом весь процесс просто подвисал и все:

У меня уже был такой опыт с первым сервером, и я знаю, что это работать не будет. Там тоже подвисало все очень надолго, если я видел такую картинку, как выше.

Мы пробовали ставить меньше плотов, но все равно процесс засеивания шел так же неравномерно и недопустимо медленно.

Разобрались, в чем проблема. Оказалось, несмотря на очень большой объем ОЗУ, программа Чиа очень интенсивно использует оперативку и не очищает ее, а кэширует, и когда заканчивается свободное место, то она начинает скидывать файлы на SSD. Проблема была в том, что не хватало автоматически настроенного файла подкачки.

Ок, решили этот вопрос. Запускаю снова 29 плотов на засеивание. Проверяю раз в час, веду журнал.

Запустил я все 14 мая 2021 года в 13.49. Вот мой журнал:

• 13.49 – 0%;
• 14.40 – 4%;
• 16.12 – 10%;
• 17.03 – 13%;
• 18.00 – 17%;
• 19.00 – 20%;
• 19.58 – 22%;
• 21.09 – 26%.

Я запустил засеивание в 2 часа дня, и в 9 вечера было засеяно только 26% плотов!!!

Ок, общаюсь с ребятами. Они все объясняют.

Мои ошибки при засеивании плотов для майнинга чиа

И вот новая ошибка. Я не ставил паузу между запуском плотов. Там каждая фаза занимает разное количество ресурсов, и если запускать все плоты одновременно, то получается дольше. Б..ть, ну как я мог!!! Я ж в чате «Чиа Дрим» сижу, там постоянно пишут об этом, я видел и знал это…

Вторая ошибка. Это мне посоветовал один очень опытный и крутой майнер по имени Артем – убрать Raid0 и поставить программу Plotman (https://github.com/ericaltendorf/plotman). Плотмэн позволяет засеивать плоты одновременно на разные диски и автоматизировать запуск плоттинга новых плотов. Он нужен, чтобы не сидеть и не делать все это вручную. Артем сказал мне, что на на моем сервере можно будет майнить 120 плотов в сутки.

Также еще один мой товарищ из чата, Данила, посоветовал не объединять диски в Raid0 и сказал, что по отдельности они намного быстрее работают.

Исправил ошибки, что дальше?

Меня очень вдохновила идея майнить 120 плотов в сутки, а не 90, как я планировал, и вот я заказал Селектелу убрать контроллер и Raid0. Они сделали это ночью часа за 4, но время опять было потеряно(.

Далее мы уткнулись в то, что мой сисадмин Артем не мог никак поставить Плотмэн и разобраться, как он работает. Документация очень скудна в сети.

Обратился я к Виталию – другому уважаемому товарищу из чата, и он подсказал моему админу Артему, что и как.

Я обращаюсь все время к разным ребятам за советом, ибо неудобно, во-первых, и часто люди просто не в сети, во-вторых. Выбираю самых лучших и опытных, чтобы советоваться. Все ребята охотно помогают. Спасибо им!

И, наконец, вчера вечером мой Артем все поставил, и мы запустили майнинг. Я уже не испытывал никаких эмоций, только усталость. И не похоже, не зря. Мы так и не дождались за 9 часов ни одного плота!

Вот так вот вчера я лег спать поздно вечером в отчаянии, очень уставший. С утра оказалось, что у нас три плота всего, и один плот создается за 13 часов!!!

FUCK!!!

При этом все ресурсы свободны, а заняты лишь жесткие диски по производительности.

Ок, русские не сдаются))))!

Нам еще несколько человек вчера советовало поменять SSD на NVME, поэтому сегодня утром я принял решение заменить 16 Тб SSD на 8 Тб NVME. Звоню в Селектел, они говорят, что в этот корпус нельзя поставить NVME, что нужно заказывать новый корпус, доплачивать 6000 рублей за пересборку ПК и ждать 1-2 дня.

И снова fuck!

Так что я пока не трогаю ничего, у меня работает Plotman. Теоретически сервер должен выдать 50 плотов за сутки. Я жду. Сразу ясно, что 50 плотов в день за такие деньги это очень дорого и не интересно. Но я все равно пока переведу дух, просчитаю экономику и еще посоветуюсь с ребятами, что за х…. такая…

Эх(!…