Один из челленджей в машинном обучении связан со смещением данных. Реже употребляется термин "сдвиг данных" и это - прямая калька с английского dataset shift. Проблема тут в "предвзятости" получаемых моделей относительно данных, на которых проходило обучение, что приводит к ошибкам алгоритма при работе в новых условиях. Например, когда беспилотный автомобиль обучался на столичных дорогах, а оказался на типичных российских дорогах отдаленных от МКАДа без полос и асфальта. Доступные сейчас наборы данных "со смещением" зачастую очень ограничены, и не редки ситуации, когда они вообще создаются искусственным путём.

Если вы занимаетесь машинным обучением, то маловероятно, что не слышали про конференцию NeurIPS. Крупнейшая и, можно сказать, что одна из главных конференций, которая ориентирована на тех, кто работает в данном направлении. В этом году Яндекс, совместно с ребятами из академической среды таких университетов как Оксфорд и Кембридж, устраивают на NeurIPS 2021 конкурс. В рамках соревнования предлагается разработать алгоритм для предсказания поведения участников автомобильного движения, машинного перевода текстов или предсказания погоды. Обучить алгоритм нужно на предоставленных данных, а затем проверить качество его работы в условиях смещения данных.

В помощь Яндекс открывает самый большой из доступных на данный момент набор данных связанных с беспилотными автомобилями. Это 600 000 дорожных сцен или более 1 600 часов движения, собранных за полгода в России, Израиле и США, при разных погодных условиях. Также для соревнования открываются датасеты сервисов Яндекс.Погода и Яндекс.Переводчик.

Безусловно, очень круто, что коммерческая компания делится такими крупными наборами данных в столь активно развиваемых на данный момент направлениях. Тем более, что Яндекс известен тестированием своего беспилотного автомобиля в различных странах, городах и погодных условиях - опыт у них большой. А такое разнообразие данных наверняка позволит корректней обучать модели не только связанные с беспилотными автомобилями, но и в других направлениях.

https://research.yandex.com/shifts

Framework - ноутбук, главная фишка которого заявлена как "бесспорная починяемость". Невозможность отремонтировать своё устройство быстро и дёшево - головная боль текущей реальности. Даже к такой простой вещи как чайник часто нет комплектующих от производителя, поэтому при малейшей поломке выкидывается всё устройство. А в корпусе ультрабука нужно уместить кучу различных комплектующих, удостовериться, что они не перегреваются, при этом батарейка держит заряд долго. Естественно, большинство производителей после всех ухищрений уже даже не задумываются о ремонтопригодности - в следующем месяце надо новую модель собирать. Но когда речь идёт о машинах за тысячи долларов, то поломка какого-нибудь порта или одной клавиши становятся натуральным адом.

Ещё хуже если порт устарел и надо заменить его на новый формат, а если нужно обновить оперативную память? На все эти вопросы и отвечали авторы создавая Framework. В первом случае порт можно легко достать и вставить новый - благо все они являются просто переходником на usb-c и можно налету выбрать тот набор портов, который нужен сейчас. Во втором варианте нужно будет открутить пару винтов и заменить память, батарейку, что угодно ещё, благо компоненты не распаяны как и всё остальное в компьютере. Припаян только процессор к материнской плате, а остальные комплектующие выбраны общедоступные и даже если компания пропадёт, то их можно будет найти. Несмотря на то, что много лет я уже пользуюсь продукцией одной фруктовой компании, порой меня радуют такие разработки. Конечно, вряд ли в ближайшее время модульность станет популярной - это и сложно и непонятно зачем нужно большинству производителей. Но такая фишка в качестве уникальной характеристики вызывает уважение. Та же идея с модульными портами даёт вам намного больше универсальности, чем чистый хвалёный usb-c вместе с которым надо таскать уйму переходников. https://www.engadget.com/framework-laptop-review-150001399.html

Kaseya получила мастер-ключ для расшифровки данных своих пользователей, которые были зашифрованы в результате атаки на софт компании. Неизвестно, заплатила ли Kaseya за этот ключ или в его получении участвовало ФБР - ни те, ни другие не дают комментариев, поэтому можно только гадать. Учитывая, что взломщики из REvil требовали всего 70 миллионов долларов, в принципе сценарий с выкупом вполне возможен. Но группировка пропала с радаров через неделю после взлома и тогда казалось, что вместе с ней ушла и возможность дешифровки, а тут, внезапно, ключ всё-таки появился.

Пострадали, в основном, мелкие бизнесы, школы и прочие учреждения, которые не хотели нанимать штатных IT-специалистов и доверяли свою инфраструктуру фирме Kaseya. Будут ли они дальше отдавать собственные данные и компьютеры такого рода подрядчикам - довольно интересный вопрос. Напомню, взлом был произведён 2 июля, то есть 21 день у пользователей не было доступа к своей информации и, вероятней всего, вообще ничего компьютерного не работало. Ну а то, что при увеличении IT-инфраструктуры в мире такие инциденты становятся всё более частыми и массовыми - это уже факт. https://www.engadget.com/kaseya-master-decryption-key-revil-attack-081230168.html

Намедни остановился я в центре города и, как это и положено, оплатив свой час парковки ушел обедать, не ведая о том, что где-то оступился. И только когда мимо окна проехал эвакуатор, я прозрел о том, что парковку то оплатил, но так как не так давно менял автомобиль - забыл сменить парковочные данные в приложении. Хорошо, что эвакуатор ехал не за моей машиной, иначе день был бы безвозвратно испорчен. В целом же у современного водителя достаточно много проблем, связанных с платным паркингом. Можно просто забыть заплатить или даже ошибиться с местом парковки в приложении, что уж говорить о предварительной оценке времени, которое может потребоваться на стоянку. Но технологии проникают не только в системы, которые пытаются снять деньги с рядового автолюбителя, а и на помощь самому автолюбителю.

Компания Tele2 выпустила девайс со смелым названием "Смарт Паркинг". Представляет оно из себя пластиковую коробушку со скромной внешней индикацией, аккумулятором и электроникой внутри. Устройство призвано отслеживать местоположение автомобиля и, при нахождении на месте с платной парковкой, определять, что автомобиль остановился, само оплачивая парковку согласно установленному тарифу. Во время начала движения автомобиля девайс перерассчитывает неиспользованное время и возвращает средства на счет владельца. Обо всех действиях устройство уведомляет по СМС и, заявлено, что оно достаточно умное, чтоб отличить нахождение в пробке рядом с платной парковкой от реальной остановки.

Стоимость устройства чуть менее четырех тысяч и можно заказать бесплатную доставку в пределах МКАДа. Работает всё на данный момент только в Москве. У компании большие планы на развитие этого направления и добавления дополнительных фич. Отрадно, что в направлении создания "умного" города начал работать и бизнес. И достаточно интересно наблюдать за автоматизацией таких рутинных и обыденных задач.

https://f.tele2.ru/parking

TSMC объявили о запуске 2-нанометровых чипов в 2023 году, с первым производством большого количества чипов в 2024 году. Учитывая, что сейчас только осваивают 5нм, в следующем году обещают 4нм, а потом уже и 3нм к 2023 году, то 2нм в 2024 звучит как очень смелый план. Не повезло больше всех опять Intel - только вчера они объявили о собственном плане по "нагонению лидерства" в технологиях производства к 2025 году с 2-нанометровыми процессорами. Теперь же TSMC обещает обойти компанию на 2 года, а Intel до сих пор даже 7нм освоить на своём производстве не смогли. Грустно смотреть, но монополия часто становится жертвой собственной неповоротливости. https://9to5mac.com/2021/07/28/tsmc-2nm-production-set-for-2023/

Tesla, VW, Ford и другие автопроизводители объявили об использовании литий-железо-фосфатных аккумуляторов в своих машинах. Также Маск заявил об использовании данных ячеек в домашних системах накопления энергии Powerwall. Химически такие аккумуляторы проще - кроме лития там нет редких элементов, что является ключевым для стоимости производства и наращивания количества производимого. Технически такие батареи менее энергоёмки по сравнению с никель-содержащими, то есть при одинаковом объёме занимают больше места и весят, соответственно, больше.

Сдвиг к более простой, но выгодной технологии в Tesla объявили почти год назад - при возрастающем спросе на аккумуляторы нужно искать способы производить их достаточно быстро и не удорожая. Сейчас все автопроизводители обещают использовать литий-железо-фосфатные ячейки только в автомобилях начального класса, где люди хотят сэкономить за счёт меньшей дальности поездки. Не стоит забывать, что сами автопроизводители всё больше вкладываются в производство аккумуляторов, часто покупая или заключая многолетние партнёрства с заводами. С такой технологией и свои заводы строить станет легче, практически полностью контролируя все деньги во время производства каждой машины. https://techcrunch.com/2021/07/28/what-teslas-bet-on-iron-based-batteries-means-for-manufacturers/

Следующий железный продукт Facebook - умные очки, так заявил Цукерберг на созвоне с инвесторами. Продукт готовится в партнёрстве с Ray-Ban, будет "иметь их культовый форм-фактор и позволять делать кое-какие очень приятные штуки". К сожалению, после первоначального анонса в прошлом сентябре в скором времени поступил комментарий, что в очках не будет дисплея. То есть заявленная изначально "дополненная реальность" будет ограничена аудиоформатом и, возможно, каким-то другим взаимодействием с реальным миром - пока что все комментарии туманны.

По словам Цукерберга их очки - это крупный шаг в развитии темы VR/AR дальше к массовому потребителю. Но так как мы не знаем всех возможностей, то оценить этот важность этого шага пока сложно. Сейчас выглядит так, что Facebook готовит конкурента Amazon Echo Frames и другим очкам с динамиками, что тоже интересно, потому что всего существует порядка десятка моделей таких очков. Поэтому поглядим, что в итоге всё-таки получится, насколько умными очки будут, и как дополнится реальность помимо прослушивания музыки наушников. https://arstechnica.com/gadgets/2021/07/facebooks-next-hardware-product-will-be-smart-ray-ban-glasses/

На просторах App Store появился новый клиент Telegram для часов Apple - Nanogram. Он сделан независимым разработчиком и на голову превосходит официальное приложение Telegram. Последнее до сих пор глючит и тормозит не давая нормально просматривать чаты и вообще делать что-то кроме простого ответа на только что пришедшее сообщение. Работает Nanogram независимо от телефона - не нужно ждать синхронизации, всё отрисовывается и реагирует быстро, причём загружается под сотню последних чатов, а не только 2-3 как у Telegram на часах.

Но тут ещё есть, что улучшать. Например, как и в официальном приложении, ни фото, ни видео не показываются, открыть их по клику в телефоне тоже нельзя (хотя заявлено это только в официальном приложении). Ну а также нет никакого взаимодействия с сообщениями вроде ответа или пересылки в другой чат. Приложение бесплатное, монетизируется за счёт предложения установить клавиатуру разработчика за баснословные 900 рублей и без поддержки русского языка - очень нужная штука 🙂 Заявляется, что всё работает напрямую с серверами Telegram и данные никому больше не пересылаются - это тоже нужно бы проверить. https://9to5mac.com/2021/07/29/telegram-apple-watch-nanogram-app/

Штраф в почти 900 миллионов долларов присудили Amazon в ходе разбирательства по нарушению GDPR - это рекордная сумма на данный момент. Дело в использовании данных европейских пользователей, что сейчас очень строго регулируется в Евросоюзе. Суть GDPR заключается в том, что данные европейцев нельзя без их явного согласия пересылать зарубеж, отдавать третьим лицам и вообще что либо с ними делать кроме прямого ведения бизнеса. Это включает в себя, например, невозможность аналитики третьими сторонами если пользователь чётко не согласился на это, нажав дополнительные кнопки и расписавшись кровью.

Иск на Amazon был подан практически сразу после принятия свода законов GDPR вместе с другими делами против Apple, Facebook, Linkedin и Google. Последние уже получили штраф на $57 миллионов в 2019 году, это был предыдущий рекорд в подобных делах. Amazon, естественно, планирует подать аппеляцию на решение суда, потому что даже если он не выиграет дело, то наверняка снизит сумму до более приемлемой. Не хочется тут защищать большие компании - они правда далеко не ангелы когда речь идёт о заработке денег, но вряд ли Amazon смог нанести настолько много ущерба данным. Скорее всё выглядит как "очередной налог на большую компанию". https://www.engadget.com/amazon-fine-eu-data-privacy-130443268.html

"Tinder для антипрививочников" - так себе идея в разгар эпидемии смертельного заболевания, но, как оказалось, такое приложение только недавно удалили из App Store. Приложение Unjected позиционировалось как то, что нужно "для людей со схожим методом мышления, которые поддерживают медицинскую автономность и свободу слова". Оно появилось на Android и iOS в тот момент, когда Tinder и Bumble ввели отметки для вакцинировавшихся, тем Unjected перетягивало к себе людей несогласных с такой повесткой. Постепенно там же появился новостной фид, где регулярно были стандартные заголовки, что вакцина - это "экспериментальный генный модификатор", "биооружие" или "нанотехнологический биочип".

Естественно, всё это нарушает правила Google про COVID-19, поэтому там потребовали убрать данную секцию из приложения, но создатели обещали вернуть её в каком-то скрытом виде. Затем журналисты обратились к Apple, а те поступили ещё жёстче. Приложение с момента выхода на iOS также добавило новости, а также начало призывать людей маскировать свои слова, чтобы модераторы не заметили призывов не вакцинироваться. В данном случае это напрямую нарушало правила Apple, которые диктуют не обманывать систему модерации, поэтому Unjected было удалено. И можно согласиться с теми, кто говорит, что это - нарушение свободы слова, но только отчасти. Потому что правила Apple не диктуют повестки на тему COVID-19, но предписывают приложениям проверять публикуемую информацию если она о коронавирусе. Ну и да, приложение удалено только из App Store, поэтому, к сожалению, им ничего не мешает продолжать распространять дезинформацию, просто новых пользователей уже не будет. https://9to5mac.com/2021/07/31/apple-boots-tinder-for-anti-vaxxers-app-from-the-app-store-for-violating-covid-19-guidelines/

Большинство зарядных станций для электромобилей крайне уязвимы к кибератакам, потому что никто не занимается их безопасностью. С ростом количества электрических машин встаёт резонный вопрос, что нужно больше зарядных станций, причём большинство из них ставятся у частных домов, ведь заряжаться нужно долго. Но производители абсолютно не подумали о безопасности - только одна из проверенных домашних зарядок не поддалась взломам. В остальных же дыр встретилось множество: от взлома аккаунта пользователя до воровства электричества и возможности проникнуть во внутреннюю сеть дома через Wi-Fi. Что ещё удивительнее - сразу в двух брендах зарядных станций были обнаружены микрокомпьютеры RPi Compute Module, которые легко извлечь или заменить в них всю прошивку. А таким образом можно сделать вообще всё, что угодно, потому что за пять минут злоумышленник получит доступ ко всему управлению станцией и её сетью.

Ещё были замечены проблемы в Открытом Протоколе Зарядных Станций. Он был сделан для унификации подобных устройств, но, как выяснилось, также содержит ряд ошибок безопасности. В данный момент протокол непопулярен, но если его не исправят сейчас, то в будущем довольно просто будет, например, зарядить свой электромобиль за счёт владельца станции. Исследователи в выводах доходят до того, что с текущими проблемами легко, например, включить на максимум все станции одновременно и перегрузить энергосистему. То есть если к зарядным станциям не будет предъявлено серьёзных требований, то это можно будет использовать для вреда инфраструктуре и экономике целых стран. https://techcrunch.com/2021/08/03/security-flaws-found-in-popular-ev-chargers/

Virgin Galactic снова начали продавать билеты на свои полёты за $450 000. На данный момент это - самый дешёвый способ побывать в космосе (~80км над землей) и при этом скоро - вылеты назначены начиная с третьего квартала следующего года. Всего в их космоплане 4 места, помимо 2 мест для пилотов, причём можно выкупить как целый рейс, так и несколько мест со скидкой. Вообще коммерческие рейсы должны были начаться с первого квартала следующего года, но Virgin решили сделать ещё пару тестовых запусков. Приоритетом получения мест будут пользоваться те, кто пытался купить в предыдущий старт продаж - они раньше поверили в эту идею, поэтому раньше и полетят. Посмотрим, как отреагируют конкуренты, с учётом того, что, например, Blue Origin со своей ракетой находится примерно на том же расстоянии от запуска туристических рейсов. https://www.engadget.com/virgin-galactic-reopens-ticket-sales-073418808.html

Волею случая у нас оказались наушники Yamaha о которых далее и пойдет речь. Компания предоставила нам самого маленького и самого легкого представителя своей Bluetooth продукции Yamaha TW-E3B. Это - обновление в линейке наушников, которое призвано заменить модель TW-E3A: сразу стоит отметить, что сами наушники и зарядный кейс стали значительно компактней. На зарядном кейсе расположены четыре светодиода и по ним достаточно удобно определять уровень заряда кейса. Заявлено, что наушники могут выдержать 6 часов прослушивания без зарядного кейса, а с кейсом до 24 часов прослушивания. Для меня это практически бесконечность, так как основное мое использование - дошел до рабочего места и сразу поставил кейс на зарядку. Благо разъём тут USB Type-C и нет проблем подключить кейс как к макбуку, так и к любому другому компьютеру или зарядке.

Вообще, я достаточно скептически отношусь к маленьким наушникам и особенно к беспроводным, но можно сказать, что меня данное устройство даже впечатлило. Особо стоит отметить, что на низком уровне громкости устройство умеет динамически менять громкость различных частот в зависимости от выставленной общей громкости. Маркетинговое название у функции - "Комфортное прослушивание". Это добавляет красок на низком уровне громкости, а для меня это основной кейс использования и с данной фичей звук просто потрясающий.

Также стоит отметить, что TW-E3B дружат с технологиями AptX на Android-аппаратах. AptX в современном мире является практически единственным распространённым форматом высококачественного беспроводного звучания. Естественно, необходимо чтобы источник звука поддерживал данную технологию. Ну а на аппаратах с iOS обеспечивается нормальная поддержка формата AAC.

На каждом из наушников есть механической кнопка с логотипом компании. Для меня основной кейс использования данных кнопок - это постановка трека на паузу. Но ими также можно вызывать голосового ассистента, управлять громкостью, переключать треки или отвечать на звонки. Вполне удобно, когда нет возможности (или желания) доставать телефон. Мною это было протестировано на беговой дорожке и за рулем.

Старт продаж начнётся 10го августа и стоимость будет около семи тысяч. Представлена линейка будет в шести цветах и в комплекте идёт четыре амбушюры под разные уши. Корпус влагозащищенный и мною проверено, что наушники нормально переносят пробежку под питерскими дождями, благо влагозащита идёт уровня IPX5.

Почуствуйте по-настоящему крутой звук с полностью беспроводными наушниками Yamaha TW-E3B! Старт продаж: 10 августа https://yamaha.io/3yqLfvk

Промо изображение Yamaha TW-E3B

В очередной раз "автопилот" Теслы попал на радары регуляторов - теперь из-за столкновений со спасательными машинами. По статистике в США с 2018 года Теслы на автопилоте 11 раз врезались в припаркованные на дороге машины пожарных, медиков и полиции, что привело к 17 травмам и 1 смерти. В большинстве случаев аварии происходили ночью, места происшествий были огорожены конусами, а машины экстренных служб включали маячки.

Конечно нужно понимать, что 11 аварий - не такое большое число за 2.5 года, и виноваты тут автомобилисты, поверившие в маркетинговое название продвинутого круиз-контроля. Но фирма, которая уже лет 7 называет так свою технологию, должна бы или переименовать её или начинать отвечать за название хотя бы деньгами. https://techcrunch.com/2021/08/16/u-s-safety-regulator-opens-investigation-into-tesla-autopilot-following-crashes-with-parked-emergency-vehicles/

Не реклама. Меня сильно восхищает в людях целеустремленность и упорство. Вот например, вести подкаст это явно не моё из-за того, что мне элементарно сложновато будет поддерживать периодичность выпусков, не говоря уж об обработке.
Но уже год слушаю подкаст знакомых ребят "Давай после праздников" и мне даже нравится. В подкасте ведутся обсуждения на темы связанные с ИТ. Ребята бэкенд программисты и им тоже не нравится когда что-то в этом мире переписывается на электрон.

https://t.me/posleprazdnikov

Brett Cannon запилил запускальщик питона py, который всегда запускает последнюю установленную версию. Это решает проблему, когда алиасы python/python3 перезатираются при установке новой версии питона, так что они указывают не на самую новую версию питона, а на последнюю установленную. В мире Windows подобная штука существует уже лет 10 и устанавливается по умолчанию, а вот теперь такое же есть и для Unix-систем.

Я никогда не страдал от проблемы перезаписывания алиасов python/python3, потому что пользуюсь менеджером версий asdf и сам контролирую, на какую версию ссылаются эти алиасы. Да, и pyenv тоже умеет точно так же.

Для меня, пожалуй, самым полезным применением этого py будет то, что он умеет находить виртуальные окружения, и использовать их без активации, так что вместо:

source .venv/bin/activate
python -m pip install httpx

можно писать вот так:

py -m pip install httpx

Написано на Rust.

https://snarky.ca/introducing-the-python-launcher-for-unix/

Юрий Максимов дал интервью американскому журналу Forbes. Юрий известен как основатель многомиллиардной IT-компании Positive Technologies, которая занимается вопросами кибербезопасности. Многие наверняка также знают их форум PHDays. В апреле этого года Минфином США на компанию были наложены санкции, якобы из-за оказания поддержки российской разведке и организации мероприятия с целью хантинга айтишников для российских спецслужб.

Если вы никогда не были на PHDays, то его можно посетить весной, а осенью — отдельные самые крупные в мире открытые киберучения — The Standoff, которые также проводит компания. Даже если вы занимаетесь чем-то смежным с ИБ, например, разработкой или тестированием, или просто интересуетесь этой сферой. На мероприятиях есть что послушать и на что посмотреть. Говорю это с чистой совестью, как человек, посещавший PHDays как сотрудник компании и даже как рядовой посетитель 🙂

В интервью, конечно же, есть вопросы, связанные с призрачными «русскими хакерами», которые вроде бы есть, но которых вроде бы и нет. Вообще, часто кажется, что это словосочетание уже служит некой индикацией предвзятости. Юрий в свою очередь рассказывает про белых хакеров и «кибермиротворцев», а также размышляет о том, что после любого взлома надо акцентировать внимание на наращивании сил в направлении информационной безопасности, а не заниматься взаимными обвинениями. Также интересно, что Positive Technologies оценивается сейчас в $2,5 миллиарда и, несмотря на наложенные санкции планирует выйти на IPO, при этом не участвуя в геополитических играх.

https://t.me/positive_investing/87

Внезапно Себастьян Рамирес, известный нам как автор стремительно набравшего популярность фреймворка FastAPI, зарелизил первую версии python-библиотеки SQLModel. Библиотека представляет из себя эдакую надстройку над популярной ORM SQLAlchemy, позволяющей описывать таблицы моделями библиотеки pydantic. Я еще не пробовал, но кажется, что это то, потребность в чем витала в воздухе уже очень давно, и что библиотека даст значительные профиты в оптимизации времени затраченного на разработку http сервисов использующих подключение к SQL-базам данных. Теперь, если вы используете pydantic для описания моделей, а не Marshmallow, то не нужно будет отдельно описывать модели для базы данных и для валидации/сериализации в проекте. Кажется, что прям круто. Вообще, Себастьян как-то приловчился брать хороший проект и делать его еще лучше добавляя нормальную работу с кастом данными по типу указанному через python typing. Чего только стоит вышеназванный FastAPI, который по сути представляет собой Starlette с суперсилами тайпинга и pydantic! Я еще использовал проект typer (это небезызвестная в сообществе python библиотека click для удобного написания cli инструментов профорсированная поддержкой таипинга). А теперь и SQLModel, которая прям наверняка станет популярной. Ну и, что очевидно и предсказуемо, SQLModel полностью поддерживается в FastAPI.

https://twitter.com/tiangolo/status/1430252646968004612

На РБК вышло интервью с директором по аналитике больших данных Tele2, которое посвящено этому направлению у мобильного оператора. Из интересного там можно, например, прочитать, что размер кластера с данными у сотового оператора приблизительно достигает десяти петабайт. Уже прошли те времена, когда сбор телеметрических данных пользователей был лишь прерогативой компаний, занимающихся разработкой и поддержкой рекомендательных сервисов. В современном мире любой сервис, в том или ином виде, собирает подобные данные, и это нормально и даже правильно. Надо понимать, что пользователь в ответ получает более качественные рекомендации контента и более предсказуемую работу сервисов. А зачастую это ещё и делает возможным предоставление сервиса по менее высокой цене или вовсе бесплатно.

Также про большие данные надо понимать, что основной коммерческий интерес лежит не в кейсе использования данных конкретного пользователя, а в хранении большого массива обезличенных данных. Так достигается более качественное обучение требуемых моделей. Зачастую данные собираются на опережение, то есть сначала их собирают, а потом уже ищут, зачем массив можно использовать. Так тестируются те или иные гипотезы, чтобы можно было быстро "подчистить" данные и натренировать нужную модель на достаточном их объёме.

В статье делается акцент на том, что у Tele2 данные хранятся обезличенно, то есть без хранения идентификационных данных конкретных людей. Надо полагать, что обезличенность собираемых данных это не только "хороший тон", но скорее даже необходимость, которая позволяет обезопасить как самих пользователей, так и компанию. Получается эдакий дешевый харденинг. Хочется надеяться, что это понимают все большие игроки, ну или поймут, когда к этому придут. Я ностальгически читал у Кушнера про времена, когда Билл Гейтс выступал на презентации Doom в 95м году, а компьютерные игры были тем паровозом, который во многом популяризировал и двигал ИТ. В современном мире таким паровозом прогресса стали аналитика и большие данные, и это случилось отнюдь не вчера.

https://trends.rbc.ru/trends/industry/cmrm/611c26309a794760e2c9927b