Как Discord хранит триллионы сообщений
В 2017 году мы написали в блоге статью о том, как мы храним миллиарды сообщений. Мы поделились тем, как мы начали использовать MongoDB, но перенесли наши данные в Cassandra, потому что мы искали базу данных, которая была бы масштабируемой, отказоустойчивой и с относительно низкой ценой. Мы знали, что будем расти, и это случилось!
Мы хотели, чтобы база данных росла вместе с нами, но мы надеялись, что потребности в ее обслуживании не будут расти вместе с нашими потребностями в хранении данных. К сожалению, мы обнаружили, что это не так — наш кластер Cassandra демонстрировал серьезные проблемы с производительностью, которые требовали дополнительных усилий, чтобы просто поддерживать нормальную работу, а не улучшать ее.
Почти шесть лет спустя мы сильно изменились, и то, как мы храним сообщения, также изменилось.
Статья: https://discord.com/blog/how-discord-stores-trillions-of-messages
В 2017 году мы написали в блоге статью о том, как мы храним миллиарды сообщений. Мы поделились тем, как мы начали использовать MongoDB, но перенесли наши данные в Cassandra, потому что мы искали базу данных, которая была бы масштабируемой, отказоустойчивой и с относительно низкой ценой. Мы знали, что будем расти, и это случилось!
Мы хотели, чтобы база данных росла вместе с нами, но мы надеялись, что потребности в ее обслуживании не будут расти вместе с нашими потребностями в хранении данных. К сожалению, мы обнаружили, что это не так — наш кластер Cassandra демонстрировал серьезные проблемы с производительностью, которые требовали дополнительных усилий, чтобы просто поддерживать нормальную работу, а не улучшать ее.
Почти шесть лет спустя мы сильно изменились, и то, как мы храним сообщения, также изменилось.
Статья: https://discord.com/blog/how-discord-stores-trillions-of-messages
Онборд туториалы против Контекстной помощи
Туториалы прерывают пользователей, не обязательно улучшают выполнение задач и быстро забываются. Сигналы контекстной помощи могут избежать этих ловушек, но требуют ненавязчивых способов активации.
Статья: https://www.nngroup.com/articles/onboarding-tutorials/
Туториалы прерывают пользователей, не обязательно улучшают выполнение задач и быстро забываются. Сигналы контекстной помощи могут избежать этих ловушек, но требуют ненавязчивых способов активации.
Статья: https://www.nngroup.com/articles/onboarding-tutorials/
ИИ выглядит как пузырь
ИИ, похоже, стал новым пузырем: многочисленные отчеты о компаниях, получающих большие оценки, несмотря на отсутствие доходов. Пузырь — это когда люди покупают слишком много ненужных вещей из-за убеждения, что они могут продать их кому-то еще более невежественному. Примером этого является крипто-пузырь 2017 года, когда компании, работающие на блокчейне, добились огромного роста стоимости акций в результате стремительного роста биткойнов. Хотя новые технологии могут открывать новые возможности, доходы от этих возможностей вряд ли будут распределяться равномерно.
Статья: https://every.to/napkin-math/ai-looks-like-a-bubble?utm_source=tldrnewsletter
ИИ, похоже, стал новым пузырем: многочисленные отчеты о компаниях, получающих большие оценки, несмотря на отсутствие доходов. Пузырь — это когда люди покупают слишком много ненужных вещей из-за убеждения, что они могут продать их кому-то еще более невежественному. Примером этого является крипто-пузырь 2017 года, когда компании, работающие на блокчейне, добились огромного роста стоимости акций в результате стремительного роста биткойнов. Хотя новые технологии могут открывать новые возможности, доходы от этих возможностей вряд ли будут распределяться равномерно.
Статья: https://every.to/napkin-math/ai-looks-like-a-bubble?utm_source=tldrnewsletter
👍1
Стоит ли говорить интервьюеру, что вы уже знаете этот вопрос
Что делать во время технического собеседования, если вы уже решали задачу раньше?
Статья: https://levelup.gitconnected.com/should-you-tell-the-interviewer-that-youve-already-seen-the-question-2520e315ad43
Что делать во время технического собеседования, если вы уже решали задачу раньше?
Статья: https://levelup.gitconnected.com/should-you-tell-the-interviewer-that-youve-already-seen-the-question-2520e315ad43
10 продуктов, получивших в феврале наибольшее количество голосов на ProductHunt
Они были протестированы и выбраны сообществом Product Hunt, и они обязательно выведут вашу цифровую жизнь на новый уровень. Среди нас есть инструменты для творческих людей, для тех, кто изо всех сил пытается сосредоточиться, кто интересуется новейшими технологиями искусственного интеллекта или просто хочет освоить новый навык. 🤩
Обзор: https://blog.curiosity.ai/10-hottest-apps-that-can-change-your-life-february-2023-2aff9745d961
Они были протестированы и выбраны сообществом Product Hunt, и они обязательно выведут вашу цифровую жизнь на новый уровень. Среди нас есть инструменты для творческих людей, для тех, кто изо всех сил пытается сосредоточиться, кто интересуется новейшими технологиями искусственного интеллекта или просто хочет освоить новый навык. 🤩
Обзор: https://blog.curiosity.ai/10-hottest-apps-that-can-change-your-life-february-2023-2aff9745d961
Топ-8 алгоритмов, которые должен знать каждый программист
Алгоритмы, о которых мы будем говорить:
1. Алгоритмы сортировки
2. Алгоритмы поиска
3. Алгоритмы графов
4. Динамическое программирование
5. Алгоритмы оптимизации
6. Разделяй и властвуй (ветвящиеся рекурсии)
7. Отслеживание с возвратом
8. Рандомизация
Статья: https://python.plainenglish.io/top-8-algorithms-every-programmer-should-know-93c826267938
Алгоритмы, о которых мы будем говорить:
1. Алгоритмы сортировки
2. Алгоритмы поиска
3. Алгоритмы графов
4. Динамическое программирование
5. Алгоритмы оптимизации
6. Разделяй и властвуй (ветвящиеся рекурсии)
7. Отслеживание с возвратом
8. Рандомизация
Статья: https://python.plainenglish.io/top-8-algorithms-every-programmer-should-know-93c826267938
Разработчик запустил модель Meta LLaMA-13B, которая считается конкурентом GPT-3, на своем ноутбуке
Я думал, что пройдет еще несколько лет, прежде чем я смогу запустить модель класса GPT-3 на моем железе. Я ошибся - это будущее уже наступило.
Статья: https://simonwillison.net/2023/Mar/11/llama/
Перевод: https://apptractor.ru/info/articles/llama.html
Код: https://github.com/ggerganov/llama.cpp
Я думал, что пройдет еще несколько лет, прежде чем я смогу запустить модель класса GPT-3 на моем железе. Я ошибся - это будущее уже наступило.
Статья: https://simonwillison.net/2023/Mar/11/llama/
Перевод: https://apptractor.ru/info/articles/llama.html
Код: https://github.com/ggerganov/llama.cpp
Simon Willison’s Weblog
Large language models are having their Stable Diffusion moment
The open release of the Stable Diffusion image generation model back in August 2022 was a key moment. I wrote how Stable Diffusion is a really big deal at the …
Идентификация, Аутентификация, Авторизация. В чем же разница?
В данной статье мы разберем такой процесс как «Авторизация», а также поговорим о таких очень близких понятиях как «Идентификация» и «Аутентификация». Разберем, как всё это взаимосвязано и постараемся сделать это максимально просто и доступно для того, чтобы у вас не осталось никаких вопросов после прочтения данной статьи!
Статья: https://habr.com/ru/post/720842/
В данной статье мы разберем такой процесс как «Авторизация», а также поговорим о таких очень близких понятиях как «Идентификация» и «Аутентификация». Разберем, как всё это взаимосвязано и постараемся сделать это максимально просто и доступно для того, чтобы у вас не осталось никаких вопросов после прочтения данной статьи!
Статья: https://habr.com/ru/post/720842/
Скрытая математика толпы: как пешеходы непреднамеренно самоорганизуются
Математическое исследование Университета Бата пролило новый свет на формирование и поведение толпы.
Статья: https://scitechdaily.com/the-hidden-mathematics-of-crowds-how-pedestrians-inadvertently-self-organize/
Математическое исследование Университета Бата пролило новый свет на формирование и поведение толпы.
Статья: https://scitechdaily.com/the-hidden-mathematics-of-crowds-how-pedestrians-inadvertently-self-organize/
👍1
Вашей команде нужен лучший баланс между стартующими и финиширующими
В каждом проекте, будь то технологическая отрасль, фармацевтика, видеоигры или что-то еще, важно иметь команду с набором навыков и поведенческих тенденций между этими двумя крайностями.
В этом посте мы рассмотрим различные сильные стороны и мотивацию этих двух типов членов команды, а также то, как менеджеры проектов могут найти правильный баланс, чтобы максимизировать потенциал своей команды. Так что пристегнитесь, приготовьтесь к взлету и давайте исследовать увлекательный мир начинающих и заканчивающих!
Статья: https://uxdesign.cc/your-team-needs-a-better-balance-between-starters-and-finishers-37047c8ad952
В каждом проекте, будь то технологическая отрасль, фармацевтика, видеоигры или что-то еще, важно иметь команду с набором навыков и поведенческих тенденций между этими двумя крайностями.
В этом посте мы рассмотрим различные сильные стороны и мотивацию этих двух типов членов команды, а также то, как менеджеры проектов могут найти правильный баланс, чтобы максимизировать потенциал своей команды. Так что пристегнитесь, приготовьтесь к взлету и давайте исследовать увлекательный мир начинающих и заканчивающих!
Статья: https://uxdesign.cc/your-team-needs-a-better-balance-between-starters-and-finishers-37047c8ad952
Как создать потрясающий UX/UI дизайн, используя гештальт-принципы
Некоторые люди говорят, что пользовательский опыт — это изобретение дизайнеров, желающих увеличить бюджет проекта. Но интерфейс без UX — это как Тесла без батареек: руль можно крутить, а уехать нельзя. В профессиональном смысле дизайн — это не просто красивая картинка, а тяжелая работа, основанная на научных исследованиях и лучших практиках. И успех продукта на рынке во многом зависит от его дизайна. Давайте посмотрим, как специалисты создают крутые проекты на основе гештальт-психологии.
Статья: https://productcoalition.com/gestalt-principles-in-ux-ui-design-50aa031f4129
Некоторые люди говорят, что пользовательский опыт — это изобретение дизайнеров, желающих увеличить бюджет проекта. Но интерфейс без UX — это как Тесла без батареек: руль можно крутить, а уехать нельзя. В профессиональном смысле дизайн — это не просто красивая картинка, а тяжелая работа, основанная на научных исследованиях и лучших практиках. И успех продукта на рынке во многом зависит от его дизайна. Давайте посмотрим, как специалисты создают крутые проекты на основе гештальт-психологии.
Статья: https://productcoalition.com/gestalt-principles-in-ux-ui-design-50aa031f4129
Теперь вы можете запустить модель уровня GPT-3 на своем ноутбуке, телефоне и Raspberry Pi
К предыдущему материалу - в AI дела движутся молниеносно. В пятницу Георгий Герганов создал инструмент под названием llama.cpp, который может запускать новую большую языковую модель ИИ класса GPT-3 от Meta, LLaMA, локально на ноутбуке Mac. Вскоре после этого люди придумали, как запускать LLaMA и в Windows. Затем кто-то показал, как он работает на телефоне Pixel 6, а затем появился порт для Raspberry Pi (хотя и работающий очень медленно).
Новость: https://arstechnica.com/information-technology/2023/03/you-can-now-run-a-gpt-3-level-ai-model-on-your-laptop-phone-and-raspberry-pi/
К предыдущему материалу - в AI дела движутся молниеносно. В пятницу Георгий Герганов создал инструмент под названием llama.cpp, который может запускать новую большую языковую модель ИИ класса GPT-3 от Meta, LLaMA, локально на ноутбуке Mac. Вскоре после этого люди придумали, как запускать LLaMA и в Windows. Затем кто-то показал, как он работает на телефоне Pixel 6, а затем появился порт для Raspberry Pi (хотя и работающий очень медленно).
Новость: https://arstechnica.com/information-technology/2023/03/you-can-now-run-a-gpt-3-level-ai-model-on-your-laptop-phone-and-raspberry-pi/
Как создавать рекомендательные алгоритмы и проектировать системы
В этой статье исследуются системный дизайн и алгоритмы рекомендаций нескольких известных компаний. Среди компаний - Airbnb, Amazon, Dropbox, Google Maps, Netflix, Signal Messenger, Spotify, TikTok, Uber, Yelp, YouTube и Zoom.
Статья: https://www.theinsaneapp.com/2021/03/system-design-and-recommendation-algorithms.html
В этой статье исследуются системный дизайн и алгоритмы рекомендаций нескольких известных компаний. Среди компаний - Airbnb, Amazon, Dropbox, Google Maps, Netflix, Signal Messenger, Spotify, TikTok, Uber, Yelp, YouTube и Zoom.
Статья: https://www.theinsaneapp.com/2021/03/system-design-and-recommendation-algorithms.html
Forwarded from addmeto (Grigory Bakunov)
Meta увольняет еще 10 тысяч сотрудников. Это второе такое увольнение за полгода, кажется, дела идут не очень хорошо. Огромное письмо от Марка об этом всем, причем очевидно, что письмо направлено не на сотрудников, а на инвесторов. Надеюсь, что фейсбуку это поможет.
Все это, конечно, следствие перенайма. В 2020 году в Meta наняли более 13 000 сотрудников, рост на 30% и самый большой год найма в истории компании. В 2021 году они наняли еще 13000 рабочих. Непонятно, куда так спешили.
https://about.fb.com/news/2023/03/mark-zuckerberg-meta-year-of-efficiency/
Все это, конечно, следствие перенайма. В 2020 году в Meta наняли более 13 000 сотрудников, рост на 30% и самый большой год найма в истории компании. В 2021 году они наняли еще 13000 рабочих. Непонятно, куда так спешили.
https://about.fb.com/news/2023/03/mark-zuckerberg-meta-year-of-efficiency/
Meta Newsroom
Update on Meta’s Year of Efficiency
Mark Zuckerberg announces steps to make Meta a better technology company and improve our financial performance.
❤1
Пока мы тут дружно страдаем по GPT3, OpenAI уже представляет GPT4. В некоторых приложениях уже используется (примеры есть на сайте - Duolingo, Be My Eyes, Stripe, Khan Academy и т.д.), а остальным можно записаться в лист ожидания.
Сайт: https://openai.com/product/gpt-4
Сайт: https://openai.com/product/gpt-4
Как мы сделали Tinder API Gateway
Tinder API Gateway (TAG) — это одна из критически важных платформ Tinder, которая устраняет необходимость раскрытия общедоступных API-интерфейсов и обеспечивает строгую авторизацию и правила безопасности. TAG разработан для удовлетворения индивидуальных потребностей Tinder, чтобы идеально вписаться в его текущую облачную инфраструктуру, он может масштабироваться по мере необходимости и поддерживаться без какой-либо внешней поддержки. Он также реализует RAC (Route As Configuration), который помогает разработчикам быстрее отправлять свои модули в продакшен.
Статья: https://medium.com/tinder/how-we-built-the-tinder-api-gateway-831c6ca5ceca
Tinder API Gateway (TAG) — это одна из критически важных платформ Tinder, которая устраняет необходимость раскрытия общедоступных API-интерфейсов и обеспечивает строгую авторизацию и правила безопасности. TAG разработан для удовлетворения индивидуальных потребностей Tinder, чтобы идеально вписаться в его текущую облачную инфраструктуру, он может масштабироваться по мере необходимости и поддерживаться без какой-либо внешней поддержки. Он также реализует RAC (Route As Configuration), который помогает разработчикам быстрее отправлять свои модули в продакшен.
Статья: https://medium.com/tinder/how-we-built-the-tinder-api-gateway-831c6ca5ceca
Google представил Service Weaver Framework
Это фреймворк с открытым исходным кодом для создания и развертывания распределенных приложений. Service Weaver позволяет вам написать приложение как модульный монолит и развернуть его как набор микросервисов.
Сайт Service Weaver: https://serviceweaver.dev/
Это фреймворк с открытым исходным кодом для создания и развертывания распределенных приложений. Service Weaver позволяет вам написать приложение как модульный монолит и развернуть его как набор микросервисов.
Сайт Service Weaver: https://serviceweaver.dev/
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Помните эту копипасту?
"Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы… И эльфу раз лесные то сделать так что там густой лес и тп… Я джва года хочу такую игру."
Короче, если GPT4 это скормить как задачу для разработки простенькой 2D Javascript игры, то получится почти 2D-экшон🤝
Даже играбельный, управление стрелочками, стрелять на пробел:
https://codepen.io/shir-man/pen/mdGLwWB
Код нечитабелен, я попросил его обфусцировать, так как на выходе есть лимит в длине генерации.
Но если серьезно, то се это, по масштабу, переизобретение электричества, в будущем все без работы останемся, серьезно🤢
"Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем. И если пользователь играет эльфами то эльфы в лесу, домики деревяные набигают солдаты дворца и злодеи. Можно грабить корованы… И эльфу раз лесные то сделать так что там густой лес и тп… Я джва года хочу такую игру."
Короче, если GPT4 это скормить как задачу для разработки простенькой 2D Javascript игры, то получится почти 2D-экшон
Даже играбельный, управление стрелочками, стрелять на пробел:
https://codepen.io/shir-man/pen/mdGLwWB
Код нечитабелен, я попросил его обфусцировать, так как на выходе есть лимит в длине генерации.
Но если серьезно, то се это, по масштабу, переизобретение электричества, в будущем все без работы останемся, серьезно
Please open Telegram to view this post
VIEW IN TELEGRAM
Cписок бесплатных учебных ресурсов по всему, что касается MLOps
MLOps или ML Ops — это набор практик нацеленных на надежное и эффективное развертывание и поддержание моделей машинного обучения. Много людей спрашивают про учебные ресурсы MLOps. Как начать? Когда начать? Это список учебных материалов, который поможет вам погрузиться в MLOps.
Статья (открывать в режиме инкогнито): https://ghumare64.medium.com/a-one-stop-curated-list-of-free-learning-resources-for-everything-about-mlops-8eee2d291560
MLOps или ML Ops — это набор практик нацеленных на надежное и эффективное развертывание и поддержание моделей машинного обучения. Много людей спрашивают про учебные ресурсы MLOps. Как начать? Когда начать? Это список учебных материалов, который поможет вам погрузиться в MLOps.
Статья (открывать в режиме инкогнито): https://ghumare64.medium.com/a-one-stop-curated-list-of-free-learning-resources-for-everything-about-mlops-8eee2d291560
Как правильно менять API
Вы начинаете проект, разрабатываете приложение, отвечающее требованиям, выпускаете его, и все довольны. Менеджер по продукту возвращается и просит добавить новую функцию. Внезапно вам нужно передать дополнительный параметр или изменить имя свойства. Вы вносите изменения, и другие части приложения начинают выдавать ошибки, даже те, которые управляются другими командами.
Независимо от того, работаете ли вы над библиотекой, фреймворком или даже просто над модулем приложения, вам необходимо учитывать всех возможных потребителей. Если вы вносите критическое изменение, вы должны предоставить своим пользователям время и инструменты для корректировки их кода.
Сегодня я хочу изучить, что такое критическое изменение, какие изменения можно считать критическими и какие методы можно использовать для безопасного распространения этих изменений.
Статья (инкогнито): https://betterprogramming.pub/how-to-deprecate-apis-the-right-way-371c1cbf1723
Вы начинаете проект, разрабатываете приложение, отвечающее требованиям, выпускаете его, и все довольны. Менеджер по продукту возвращается и просит добавить новую функцию. Внезапно вам нужно передать дополнительный параметр или изменить имя свойства. Вы вносите изменения, и другие части приложения начинают выдавать ошибки, даже те, которые управляются другими командами.
Независимо от того, работаете ли вы над библиотекой, фреймворком или даже просто над модулем приложения, вам необходимо учитывать всех возможных потребителей. Если вы вносите критическое изменение, вы должны предоставить своим пользователям время и инструменты для корректировки их кода.
Сегодня я хочу изучить, что такое критическое изменение, какие изменения можно считать критическими и какие методы можно использовать для безопасного распространения этих изменений.
Статья (инкогнито): https://betterprogramming.pub/how-to-deprecate-apis-the-right-way-371c1cbf1723
Как действительно быстро расти в качестве инженера-программиста
Раньше я думал, что вы просто должны быть технически подкованы, чтобы быть 10х инженером. Я обнаружил, что инженеры 10x не только технически опытны, но и эффективны. Я хочу поделиться некоторыми мыслями о том, что я заметил в самых быстрорастущих инженерах и практическими советами о том, как стать одним из них.
Статья (инкогнито): https://levelup.gitconnected.com/how-to-grow-really-fast-as-a-software-engineer-2cf662910c75
Раньше я думал, что вы просто должны быть технически подкованы, чтобы быть 10х инженером. Я обнаружил, что инженеры 10x не только технически опытны, но и эффективны. Я хочу поделиться некоторыми мыслями о том, что я заметил в самых быстрорастущих инженерах и практическими советами о том, как стать одним из них.
Статья (инкогнито): https://levelup.gitconnected.com/how-to-grow-really-fast-as-a-software-engineer-2cf662910c75