Forwarded from Заскуль питона (Data Science)
🆎 [EN] Бесплатный курс по A/B тестированию
🐸 Знаю, что их не так много, но я нашел годноту, которую добавил к себе в материалы на сайт
😍 От Сколтеха есть курс, который ведется на английском языке, но ведут его русскоговорящие ребята (в т. ч. Александр Сахнов).
Всего 40 уроков, 5 недель обучения и есть практика в Google Colab (ipynb)
🤔 Программа курса
— Неделя 1. А/B-тесты. Введение
— Неделя 2. Основы статистики. Параметрическое оценивание. Бутстреп
— Неделя 3. Основы статистики. Проверка гипотез
— Неделя 4. А/B-тесты. Базовый уровень
— Неделя 5. А/B-тесты. Повышение чувствительности. Обзор современных методов
Конечно же, я добавил еще лекции ШАДа по A/B тестированию, как же без них🍪 🍪
Ставьте🕺 , если нужны мысли про вайбкодинг в целом и как я это вижу в плане разработки
Если уже хватит апдейтов про сайт, ставьте😮
🥺 Пока вы здесь, киньте бустов (это бесплатно для Premium), плиз, чтобы я смог поменять фон и добавить больше эмодзи в реакции на постах
@zasql_python
Всего 40 уроков, 5 недель обучения и есть практика в Google Colab (ipynb)
— Неделя 1. А/B-тесты. Введение
— Неделя 2. Основы статистики. Параметрическое оценивание. Бутстреп
— Неделя 3. Основы статистики. Проверка гипотез
— Неделя 4. А/B-тесты. Базовый уровень
— Неделя 5. А/B-тесты. Повышение чувствительности. Обзор современных методов
Конечно же, я добавил еще лекции ШАДа по A/B тестированию, как же без них
Ставьте
Если уже хватит апдейтов про сайт, ставьте
@zasql_python
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from АННА В ДАННЫХ
SQL не достаточно: топ вопросов о предыдущем опыте, которые зададут на собеседовании 🥺
Для того, чтобы успешно пройти собеседование, нужно не только уметь решать задачки по SQL и дизайнить АБ-тесты, но и уверенно рассказывать о своем предыдущем опыте
Кстати, по ответам на эти вопросы проверяют не только самостоятельность и умение работать в команде, но и соответствие резюме реальности
Если человек приукрасил опыт и на самом деле никогда не работал аналитиком, одни только ответы на технические вопросы не спасут: без умения рассказать как именно происходил процесс работы, он быстро выдаст себя
Организация процессов
▪️ Была ли какая-то методология (скрам / канбан) и были ли спринты, соответственно?
▪️ Был ли таск трекер?
▪️ Был ли ты единственным аналитиком или работал в команде?
▪️ Как и кем ставились задачи?
▪️ Как приоритезировались задачи? Кто принимал финальное решение?
▪️ Как и кем оценивались сроки выполнения задач?
▪️ Как выглядел полный цикл твоей работы над задачей?
Взаимодействие с командой
▪️ Был ли у тебя на работе конфликт с коллегой? Как ты его решил?
▪️ Как происходило взаимодействие с разработчиками, дата-инженерами, маркетингом и др?
▪️ Как формировал ожидания со стейкхолдерами?
Поведение в нестандартных ситуациях и достижения
🔴 Были ли ситуации, когда ты не успевал сделать задачу к дедлайну? Почему так происходило? Как ты действуешь в такой ситуации?
🔴 Как действуешь, если требования меняются посреди задачи?
🔴 Какие типы задач любишь меньше всего и почему?
🔴 Как относишся к adhoc-ам?
🔴 Были ли ситуации, когда нужно было работать в условиях высокой неопределённости?
🔴 Каким кейсом в своей карьере ты гордишься больше всего?
Стек и работа с продуктом
▫️ Какой был технический стек?
▫️ Была ли своя АБ платформа?
▫️ С какими продуктами ты работал? Какие там были ключевые метрики?
Пройдись по списку и убедись, что сможешь ответить на все
Если есть чем дополнить список, пишите в комментариях
Для того, чтобы успешно пройти собеседование, нужно не только уметь решать задачки по SQL и дизайнить АБ-тесты, но и уверенно рассказывать о своем предыдущем опыте
Кстати, по ответам на эти вопросы проверяют не только самостоятельность и умение работать в команде, но и соответствие резюме реальности
Организация процессов
Взаимодействие с командой
Поведение в нестандартных ситуациях и достижения
Стек и работа с продуктом
Пройдись по списку и убедись, что сможешь ответить на все
Если есть чем дополнить список, пишите в комментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Из юриста в аналитики👾
Хотите я ультану гайдом на оконные функции?💪
Специально для вас подготовил мини урок на оконные функции в SQL. Постарался осветить данную тему максимально просто и без лишней воды, каждую функцию показывал через примеры и пояснения, в конце дал 3 своих задачи и 4 задачи из литкода. Надеюсь, что вам понравится такой мощный хардовый пост и вы будете увереннее чувствовать себя на собеседованиях с ними😎
По моим ощущениям на всех собесах у меня спрашивали про оконки хотя бы базово и каждый второй собес предполагал написание задач через оконки. Изучайте сами и делитесь с друзьями полезным материалом😘
https://colab.research.google.com/drive/1VZL9nBnZHAwMICNzN0IJo0VMpr863U8R?usp=sharing
Поставьте лайк, если полезно!😊
Специально для вас подготовил мини урок на оконные функции в SQL. Постарался осветить данную тему максимально просто и без лишней воды, каждую функцию показывал через примеры и пояснения, в конце дал 3 своих задачи и 4 задачи из литкода. Надеюсь, что вам понравится такой мощный хардовый пост и вы будете увереннее чувствовать себя на собеседованиях с ними
По моим ощущениям на всех собесах у меня спрашивали про оконки хотя бы базово и каждый второй собес предполагал написание задач через оконки. Изучайте сами и делитесь с друзьями полезным материалом
https://colab.research.google.com/drive/1VZL9nBnZHAwMICNzN0IJo0VMpr863U8R?usp=sharing
Поставьте лайк, если полезно!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from дAI потестить!
Базовый ролик получен — нашу Ясю уже можно грузить в Одноклассники и начинать лутать Суперклассы. Но мы же тут собрались как люди творческие, высокодуховные и слегка помешанные на перфекционизме, так что хотим не просто ролик, а шедевр. Правильно? Ну вот и давайте попробуем сделать вид, что мы всё контролируем.
Перове на что обращаешь внимание, это "утекает" мелкая детализация: зубы местами в кашу, глаза при моргании деформируются (см. видео 1). Лечить будем апскейлом на Wan2.2. В интернете схем полно, принцип один — аккуратно прошлифовать картинку Wan-ом на малых шагах и молиться, что сегодня ComfyUI будет работать. Можно взять схему, которой поделился Дмитрий @TuXoHoB в комментариях. Спасибки направляйте ему в ЛС, и лучше если это будут спасибки от Сбера😊. Что получилось см. видео 2.
Второе, что портит видео, — маленькое разрешение (720p… Google, серьёзно?). Есть несколько путей решить этот позор:
astra.app
www.topazlabs.com
Из опенсорса (если сможешь настроить)
https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1
https://github.com/IceClear/SeedVR2
Я же решил воспользоваться новинкой https://fal.ai/models/fal-ai/bytedance-upscaler/upscale/video просто потому что она стоит 4 цента на Fal.ai. Результат средний, astra.app может лучше, но деньги я уже потратил, поэтом придется вам смотреть на это (см. видео 3).
Это ещё не всё, что можно улучшить, но я на сегодня закончился и пошёл спать.
P.S. И немного ночных рассуждений. Чтобы сделать базовый ролик, достаточно уметь работать в нескольких сервисах. Например, я люблю Google. Но чтобы «дотянуть» его до приемлемого качества, уже нужно лезть в дебри, расширять инструментарий и дружить с опенсорсом.
P.S.S. Если хотите еще поработать с этим видео, мне нужны сердечки под постом.
Перове на что обращаешь внимание, это "утекает" мелкая детализация: зубы местами в кашу, глаза при моргании деформируются (см. видео 1). Лечить будем апскейлом на Wan2.2. В интернете схем полно, принцип один — аккуратно прошлифовать картинку Wan-ом на малых шагах и молиться, что сегодня ComfyUI будет работать. Можно взять схему, которой поделился Дмитрий @TuXoHoB в комментариях. Спасибки направляйте ему в ЛС, и лучше если это будут спасибки от Сбера😊. Что получилось см. видео 2.
Второе, что портит видео, — маленькое разрешение (720p… Google, серьёзно?). Есть несколько путей решить этот позор:
astra.app
www.topazlabs.com
Из опенсорса (если сможешь настроить)
https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1
https://github.com/IceClear/SeedVR2
Я же решил воспользоваться новинкой https://fal.ai/models/fal-ai/bytedance-upscaler/upscale/video просто потому что она стоит 4 цента на Fal.ai. Результат средний, astra.app может лучше, но деньги я уже потратил, поэтом придется вам смотреть на это (см. видео 3).
Это ещё не всё, что можно улучшить, но я на сегодня закончился и пошёл спать.
P.S. И немного ночных рассуждений. Чтобы сделать базовый ролик, достаточно уметь работать в нескольких сервисах. Например, я люблю Google. Но чтобы «дотянуть» его до приемлемого качества, уже нужно лезть в дебри, расширять инструментарий и дружить с опенсорсом.
P.S.S. Если хотите еще поработать с этим видео, мне нужны сердечки под постом.
Forwarded from Get Rejected
Вы вроде любите посты про то как экономить в облаках:
Вот вам пример:
Есть AWS S3, у него есть несколько вариантов Storage Class'ов, которые стоят по разному.
Допустим, у нас 70 TB данных в S3 Standard без версионирования.
Это примерно, 1600$.
Вот примерная тарификация:
Первые 50 ТБ в месяц - 0,0245 USD за 1 ГБ
Последующие 450 ТБ в месяц - 0,0235 USD за 1 ГБ
Свыше 500 ТБ в месяц - 0,0225 USD за 1 ГБ
Многие скажут, всего лишь 1600 баксов, а что если я скажу что можно сэкономить в несколько раз?
Тогда мы просто создаем правила для перемещения lifecycle, которые будут переносить ваши файлы в холодное хранилище.
Вот пример несколько архивных Storage class'ов для холодного хранения данных, которые могут потребоваться раз в квартал/год и тд c разным временем доступности от миллисекундной до 12 часов. Более подробно можете почитать на сайте AWS в ценообразовании.
S3 Glacier Instant Retrieval - 0,005 USD за 1 ГБ
S3 Glacier Flexible Retrieval 0,00405 USD за 1 ГБ
S3 Glacier Deep Archive - 0,0018 USD за 1 ГБ
Итого:
Настроив одно правило перехода данных старше 90 дней в холодное хранилище S3 Glacier Instant Retrieval мы сможем понизить счет до 350$.
Получается 1600$ -> 350$. Экономия ~1250$
Можно конечно еще больше заморочиться и настроить несколько правил для перехода данных спустя 180 дней в Deep Archive и так далее, но это уже у кого больше 400 ТБ данных мне кажется будет играть значительную роль. Важно еще учесть что файлы должны быть больше чем 128 КВ, так как перенос более мелких файлов может быть стоить гораздо больше чем держать их в Standart Class. (это тоже можно настроить и переносить только те что больше чем 128 КВ)
Вот вам пример:
Есть AWS S3, у него есть несколько вариантов Storage Class'ов, которые стоят по разному.
Допустим, у нас 70 TB данных в S3 Standard без версионирования.
Это примерно, 1600$.
Вот примерная тарификация:
Первые 50 ТБ в месяц - 0,0245 USD за 1 ГБ
Последующие 450 ТБ в месяц - 0,0235 USD за 1 ГБ
Свыше 500 ТБ в месяц - 0,0225 USD за 1 ГБ
Многие скажут, всего лишь 1600 баксов, а что если я скажу что можно сэкономить в несколько раз?
Тогда мы просто создаем правила для перемещения lifecycle, которые будут переносить ваши файлы в холодное хранилище.
Вот пример несколько архивных Storage class'ов для холодного хранения данных, которые могут потребоваться раз в квартал/год и тд c разным временем доступности от миллисекундной до 12 часов. Более подробно можете почитать на сайте AWS в ценообразовании.
S3 Glacier Instant Retrieval - 0,005 USD за 1 ГБ
S3 Glacier Flexible Retrieval 0,00405 USD за 1 ГБ
S3 Glacier Deep Archive - 0,0018 USD за 1 ГБ
Итого:
Настроив одно правило перехода данных старше 90 дней в холодное хранилище S3 Glacier Instant Retrieval мы сможем понизить счет до 350$.
Получается 1600$ -> 350$. Экономия ~1250$
Можно конечно еще больше заморочиться и настроить несколько правил для перехода данных спустя 180 дней в Deep Archive и так далее, но это уже у кого больше 400 ТБ данных мне кажется будет играть значительную роль. Важно еще учесть что файлы должны быть больше чем 128 КВ, так как перенос более мелких файлов может быть стоить гораздо больше чем держать их в Standart Class. (это тоже можно настроить и переносить только те что больше чем 128 КВ)
Forwarded from Мутный AI
Астрологи опять снова объявили неделю нано-бананы, за которую платят господа Gemini Ultra, т.к. их опять заставили отваливать кредиты за Fast генерации из-за перегруза серверов.
Спасибо, мистер гигол.🚬
Я не хочу захламлять вам ленту очередным постом про МЕГА ПРОРЫВБОЖЕ МОЙ ОДНА КНОПКА НЕВЕРОЯТНО ВЫПЬЕМ ЗА ВСЕХ И НА ЗАВОД , вместо этого хочу поговорить про прикладную задачу, которую прошка, как и обычная банана, нормально решить не может.
Речь о дрейфе цветов при их переносе с референсов.
Как бы ты ни прокачивал "мозги" диффузии, базовые проблемы технологии никуда не денутся.
И если между ракурсами простеньких 2d-шных ассетов дрейф не такой сильный (но все равно есть), то вот при попытке перенести конкретные цвета на одежду или другие штуки — бой о бой. Начинается веселуха.
Ловите микрогайдик, как перенести цвет максимально близко к оригиналу и не поехать крышей в процессе.
Я думал, он потеряет актуальность с выходом новой модели, но кажись нет.
И да, я понимаю, что текстура, освещение и геометрия не позволят перенести цвет 1 в 1, но вы хотя бы приблизитесь к этому.
1. Уберите любые цвета с оригинального объекта, особенно насыщенно-темные.
Лучше всего сначала перегенерить объект в белый цвет.
Диффузионки лишь частично зашумляют целевое изображение, оставляя информацию о цветах. Это сильно влияет на результат.
2. Добавьте референсный цвет прямо на целевое изображение.
Можно просто расширить холст и добавить цвет сбоку. Затем перегенерируйте, попросив перенести цвет на объект из этого рефа.
Обычно у in-сontext моделей при переносе цвета с отдельного референса изображение идет через семантический энкодер, где теряются точные оттенки — важнее передать форму, материал, стиль и примерную палитру. Плюс модели устойчивы к цветовому расхождению, им необходимо это для распознавания объектов при разном освещении.
А вот если поместить цвет на самом холсте, то он проходит через тот же латентный энкодер, что и остальная часть изображения. Короче, информация о цвете остается «внутри» изображения, поэтому он переносится точнее.
3. Готово, вы практически великолепны.
Практически — потому что идеально все равно не получится, но для большинства задач и работы на коленке без геморроя с Comfy или чем-то еще — достаточно.
Если хотите порассматривать цвета, PDF в комментах.
Мутный AI
Спасибо, мистер гигол.
Я не хочу захламлять вам ленту очередным постом про МЕГА ПРОРЫВ
Речь о дрейфе цветов при их переносе с референсов.
Как бы ты ни прокачивал "мозги" диффузии, базовые проблемы технологии никуда не денутся.
И если между ракурсами простеньких 2d-шных ассетов дрейф не такой сильный (но все равно есть), то вот при попытке перенести конкретные цвета на одежду или другие штуки — бой о бой. Начинается веселуха.
Ловите микрогайдик, как перенести цвет максимально близко к оригиналу и не поехать крышей в процессе.
Я думал, он потеряет актуальность с выходом новой модели, но кажись нет.
И да, я понимаю, что текстура, освещение и геометрия не позволят перенести цвет 1 в 1, но вы хотя бы приблизитесь к этому.
1. Уберите любые цвета с оригинального объекта, особенно насыщенно-темные.
Лучше всего сначала перегенерить объект в белый цвет.
Диффузионки лишь частично зашумляют целевое изображение, оставляя информацию о цветах. Это сильно влияет на результат.
2. Добавьте референсный цвет прямо на целевое изображение.
Можно просто расширить холст и добавить цвет сбоку. Затем перегенерируйте, попросив перенести цвет на объект из этого рефа.
Обычно у in-сontext моделей при переносе цвета с отдельного референса изображение идет через семантический энкодер, где теряются точные оттенки — важнее передать форму, материал, стиль и примерную палитру. Плюс модели устойчивы к цветовому расхождению, им необходимо это для распознавания объектов при разном освещении.
А вот если поместить цвет на самом холсте, то он проходит через тот же латентный энкодер, что и остальная часть изображения. Короче, информация о цвете остается «внутри» изображения, поэтому он переносится точнее.
3. Готово, вы практически великолепны.
Практически — потому что идеально все равно не получится, но для большинства задач и работы на коленке без геморроя с Comfy или чем-то еще — достаточно.
Если хотите порассматривать цвета, PDF в комментах.
Мутный AI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from КПД
SMOL_секреты_создания_LLM_мирового_класса_Перевод_t_me_aivkube.pdf
14.6 MB
Русскоязычный перевод The Smol Training Playbook от @sergeydolgov с качественной версткой.
Оригинальный материал представляет собой очень полезное пособие по обучению LLM, да и DL в целом.
Оригинальный материал представляет собой очень полезное пособие по обучению LLM, да и DL в целом.
Forwarded from Artem Ryblov’s Data Science Weekly
CS231n: Deep Learning for Computer Vision by Stanford
Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving cars. Core to many of these applications are visual recognition tasks such as image classification, localization and detection. Recent developments in neural network (aka “deep learning”) approaches have greatly advanced the performance of these state-of-the-art visual recognition systems.
This course is a deep dive into the details of deep learning architectures with a focus on learning end-to-end models for these tasks, particularly image classification. During the 10-week course, students will learn to implement and train their own neural networks and gain a detailed understanding of cutting-edge research in computer vision. Additionally, the final assignment will give them the opportunity to train and apply multi-million parameter networks on real-world vision problems of their choice.
Through multiple hands-on assignments and the final course project, students will acquire the toolset for setting up deep learning tasks and practical engineering tricks for training and fine-tuning deep neural networks.
Links:
- Course Materials
- Useful Notes
- Videos (2025)
Navigational hashtags: #armknowledgesharing #armcourses
General hashtags: #cv #computervision #nn #neuralnetworks
@data_science_weekly
Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving cars. Core to many of these applications are visual recognition tasks such as image classification, localization and detection. Recent developments in neural network (aka “deep learning”) approaches have greatly advanced the performance of these state-of-the-art visual recognition systems.
This course is a deep dive into the details of deep learning architectures with a focus on learning end-to-end models for these tasks, particularly image classification. During the 10-week course, students will learn to implement and train their own neural networks and gain a detailed understanding of cutting-edge research in computer vision. Additionally, the final assignment will give them the opportunity to train and apply multi-million parameter networks on real-world vision problems of their choice.
Through multiple hands-on assignments and the final course project, students will acquire the toolset for setting up deep learning tasks and practical engineering tricks for training and fine-tuning deep neural networks.
Links:
- Course Materials
- Useful Notes
- Videos (2025)
Navigational hashtags: #armknowledgesharing #armcourses
General hashtags: #cv #computervision #nn #neuralnetworks
@data_science_weekly
Forwarded from partially unsupervised
Чистил канпюктер от старья и внезапно обнаружил, что за последний год перестал использовать в разработке четыре столпа, которые казались незыблемыми последние лет десять: iTerm, Pycharm, Pyenv, Docker Desktop.
iTerm и Pycharm продолжали обрастать фичами, которые мне ни к чему. Фичи бесплатными не бывают: у iterm в 2024 всплыла неприятная уязвимость, Pycharm продолжал слегка тормозить даже на свежем железе (возможно, я просто не знаю все флаги, как дать ему еще больше памяти). Так я перешел на более легкие альтернативы - Wezterm и Zed.
Pyenv когда-то был отличным способом управлять зоопарком питонов и вместе с poetry делал управление зависимостями терпимым. Но uv разрубил этот узел, оно просто работает. Лучшее, что случилось с Python экосистемой, не считая maturin.
Про избавление от Docker Desktop мне пришлось подумать на работе, потому что в Большой Корпорации для него нужна отдельная лицензия, которая положена не всем. Мне таки положена, но дать продакту демку стало сложнее. Так я познакомился с colima, перешел на нее (все еще с docker runtime / docker cli, которые не требуют коммерческой лицензии) на рабочей тачке, а заодно и на своей, совершенно этого не заметив. Впрочем, чистым докером я тоже пользуюсь все меньше, потому что меня покусал Dagger.
iTerm и Pycharm продолжали обрастать фичами, которые мне ни к чему. Фичи бесплатными не бывают: у iterm в 2024 всплыла неприятная уязвимость, Pycharm продолжал слегка тормозить даже на свежем железе (возможно, я просто не знаю все флаги, как дать ему еще больше памяти). Так я перешел на более легкие альтернативы - Wezterm и Zed.
Pyenv когда-то был отличным способом управлять зоопарком питонов и вместе с poetry делал управление зависимостями терпимым. Но uv разрубил этот узел, оно просто работает. Лучшее, что случилось с Python экосистемой, не считая maturin.
Про избавление от Docker Desktop мне пришлось подумать на работе, потому что в Большой Корпорации для него нужна отдельная лицензия, которая положена не всем. Мне таки положена, но дать продакту демку стало сложнее. Так я познакомился с colima, перешел на нее (все еще с docker runtime / docker cli, которые не требуют коммерческой лицензии) на рабочей тачке, а заодно и на своей, совершенно этого не заметив. Впрочем, чистым докером я тоже пользуюсь все меньше, потому что меня покусал Dagger.