Искусство аугментации: как улучшить модели компьютерного зрения без сбора новых данных

Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдёте делать 10000 фотографий вашего питомца? На такой случай существует решение — метод аугментации данных.

Разберёмся в том, как работает аугментация — рассмотрим её влияние на точность моделей, разберём основные методы и инструменты для её реализации, обсудим лучшие практики и типичные ошибки при работе с этим методом.

«Чтобы повторить chatGPT, нужно собрать огромный массив данных (весь Интернет) и обучить на большом количестве видеокарт. Так как у меня нет возможности процессить эти данные, я повторю GPT на небольшом датасете всех произведений Шекспира»

Строим GPT с нуля и шаг за шагом

Как собрать и запитать радиопередатчик из хлама для передачи сигнала SOS

Предположим, что вы каким-то образом попали на необитаемый остров — потерпев крушение или иным способом — например, вас удерживают там «злые дядьки-мафиозники».

Или же, допустим невероятное — произошёл конец цивилизации тем или иным способом, и вам необходимо связаться с другими разрозненными группами людей.

Одним из наиболее сложных (так как требует определённых технологических приспособлений) и в то же время одним из наиболее перспективных, ввиду своей дальности действия, является радиосвязь. Попробуем прикинуть, как нам это реализовать, не имея под рукой в буквальном смысле почти ничего.

Внедряем решение сорокалетней давности из советской «Форманты» в современную электрогитару

В большинстве выпускаемых сегодня электрогитар катушки звукоснимателей подключены к регуляторам громкости и тембра напрямую. Однако пара дополнительных конденсаторов даёт возможность значительно расширить палитру звучаний.

Лишние тумблеры не понадобятся, и эстетика инструмента не пострадает. Сегодня узнаем, как модифицировать гитару с простейшим трёхпозиционным переключателем путём установки потенциометров с функцией «пуш-пул».

Потянув ручку громкости или тона вверх, можно включить добавочный режим. Причём речь пойдёт не о банальной «отсечке» катушек хамбакеров, позволяющей получить звучание сингла, а о гораздо более интересных вещах.

[ХАБРААРХИВ]

Почему плохо быть слишком умным

Трудность в том, чтобы заставить людей признать свои слабости. Если вы всю жизнь почивали на лаврах своего интеллекта, довольно трудно признать, что он может искажать ваши суждения. Как говорил Сократ, мудрейший из всех людей тот, кто может признать, что он ничего не знает.

#хабраархив

«Нечасто нам доводится изучать код, который до нас видели только считанное количество людей; код, который был важной частью разрушения системы апартеида в ЮАР; код, который использовался для защищённых коммуникаций с одноразовыми шифрами, контрабандой передававшихся в ЮАР на дискетах бортпроводником. Но мне довелось испытать это одним утром вскоре после того, как я расшифровал тридцатилетний файл PKZIP, пароль к которому давно забыли»

Взлом старого ZIP-файла с криптопрограммами подпольщиков ЮАР

Как нарисовать завод на мнемосхеме

Допустим, надо отследить позиционирование ковша. Оператор может посмотреть детали, кликнув на нужный ковш, чтобы сразу увидеть его начальное, конечное и текущее положения в производственной цепочке. Или он может быстро просмотреть весь процесс в большом цехе размером с пару стадионов, и сразу отреагировать, если что-то пойдёт не так.

Ещё лет пять назад было бы трудно поверить, что такое возможно. У нас был Oracle, для отображения состояния оборудования и процессов применялись таблицы, графики, диаграммы, были даже текстовые описания. Это было низкоэффективно, требовало изрядно времени и усилий для обработки. Потом пришёл MES и понемногу всё закрутилось. Для MES-интерфейсов потребовался новый подход, так как в мире нет унифицированных решений для их разработки.

Чтобы внедрить мнемосхемы на производстве, пришлось изрядно поработать. Но задача была вдохновляющая, и оно того стоило.

Техническая история Kubernetes: секреты создателя

Однажды Брайан Грант, первый lead architect Kubernetes, написал в Twitter серию тредов о технической истории проекта. Он рассказал о появлении разных фичей в K8s и логике, которая стояла за принятием отдельных решений. В этом году в честь очередного юбилея оркестратора Брайан собрал все твиты в одну статью. Это её перевод, из которого вы узнаете, как появились контроллеры рабочих нагрузок, декларативная модель ресурсов, descheduler и многое другое.

«Делюсь лайфхаком по уменьшению размеров Docker-образов. Как-то нам попалась на поддержку и развитие CRM-система, написанная на Ruby...

Обновили Ruby-пакеты и под них код, написали Dockerfile. Первая сборка была удручающей: образ в 2Гб. Это нормальный размер, если ты собираешь образ с Torch и другой ML-штуковиной, но CRM — нет. В результате дальнейших действий, удалось сократить размер образа до 200 Мб»

Mount — ещё один способ уменьшения размера Docker-образа

Этот парень был из тех, кто просто любит связь

Однажды в 1957 году советский инженер подал заявку на выдачу патента на устройство вызова и коммутации каналов радиотелефонной связи. По сути, это был мобильный телефон, по форме — трёхкилограммовая коробка с диском для набора номера, по содержанию — система с приёмником, преобразователем, передатчиком, коммутатором и дешифратором.

Инженера звали Леонид Куприянович, а устройство — ЛК-1

Это база: алгоритмы сортировки для начинающих

Поговорим о двух алгоритмах сортировки: Quick Sort и Merge Sort. Узнаем, как они работают, как выглядят примеры кода на Python и Java, а также — как выбрать подходящий алгоритм под ваши задачи.

Дизайн и реализация виртуальной машины CPython

Наиболее интересной частью каждого языка, компилируемого в байт‑код является виртуальная машина (также известная как интерпретатор байт‑кода), в которой происходит исполнение байт‑кода. Поскольку это наиболее важная часть реализации языка, она должна быть крайне производительной. Даже если вы не занимаетесь разработкой компиляторов, знание внутреннего устройства её реализации может дать вам возможность найти новые способы оптимизации вашего кода, что может быть полезно в других областях вашей работы. А если вы занимаетесь разработкой компиляторов, вам всегда стоит исследовать реализации в других языках, чтобы найти для себя новые трюки и потенциально упущенные детали.

В этой статье мы обсудим формат инструкций байт‑кода CPython, а также реализацию цикла обработки байт‑кода в интерпретаторе, где он и исполняется

На прошедшей неделе мы учились читать QR-коды без компьютера, разбирались, как устроены серийники для Windows, ускоряли генерацию BlurHash и выясняли, почему Space Launch System по-прежнему является бомбой с часовым механизмом.

Лучшие публикации недели (14-20 октября 2024)

Устраняем ошибки USB-Blaster

Поговорим о способе перепрошивки китайского программатора, который избавит вас от вечно выскакивающих ошибок, синего экрана смерти, невозможности прошить FPGA и т. д. Эта заметка для вас, если вы купили самый дешёвый программатор USB Blaster с алиэкспресса, и он упорно отказывается работать в вашей ОС.

Пишем алгоритмы на самом ненужном языке в мире и страдаем

То, что будет происходить ниже — сущий ад. Мы будем писать простейшие программы на языке Whitespace. Этот язык настолько ненужный, что оригинальный сайт с интерпретатором для этого языка уже давно мёртв, все ссылки на оригинальные гайды соответственно тоже.

Мы с головой запрыгнем в язык, состоящий из пробелов, чёрт побери, что вам ещё нужно? А потом этим пробельным кодом отформатируем отрывок из книги «Война и Мир», и он будет прекрасно компилироваться.

Postal 2: антигерой мира видеоигр

В начале 2000-х индустрия видеоигр делала большие шаги к мейнстриму, и жанр шутеров от первого лица бурно развивался. Это было время, когда игроки могли погрузиться в миры, нарушающие все возможные моральные и социальные нормы. Одним из таких проектов, что в первую очередь вспомнится большинству олдфагов, является Postal 2, вышедший в 2003 году. Он стал воплощением бунтарского духа того периода и своего рода символом той эпохи, ведь обещал игрокам беспрецедентную для FPS тех лет свободу и море чёрного юмора, будучи не столь сильно закован в рамки политкорректности. Всё это позволило ему взбудоражить игровое сообщество своей противоречивостью, заставляло задуматься, где грань между весёлой игрой и моральным вызовом. И пусть Postal 2 был далеко не первым проектом, стремившимся шокировать жестокостью, но он хорошо запомнился аудитории свой индивидуальностью, необычным подходом к геймплею и свободой, позволяющей творить настоящий беспредел!

Вспомним, чем он был так хорош, и действительно ли это обычный шутерок, обёрнутый в кровавую упаковку, или всё-таки в нём есть нечто большее