苦
每當數據檢查不通過時,就會有點揪心,怕是又出了什么亂子。最可恨的就是網站改版,每次改版,原先設計的系統基本全部廢掉,爬蟲邏輯又得重新來。最近好幾個網站改版。。。
而且有些網站就喜歡在放假時和周五發版,沒辦法啊,背上電腦,改吧。
昨天某網站不知道咋的掛了,今天修到現在,還在測試中,我的周末啊。還要補上事故說明,昨天某某數據沒了,計算的時候注意點。誰能保證自己寫的代碼沒BUG。。。
這是數據采集的苦,還有就是PM隨意加需求的痛。那個數據爬下來看看;這個這么簡單,什么時候能上線;今天什么都沒改嘛?
好了,小吐槽下,自己還是要保持正能量,工作還是要做的。不過我覺得這是程序員的通病。
樂
可以接觸到各種各樣的反爬姿勢,相應的可以學習到各種解決方法(大部分情況下,某些網站除外)。這點算是增加自己的經驗閱歷。
“與天奮斗,其樂無窮;與地奮斗,其樂無窮;與人奮斗,其樂無窮。
看成自己爬來的數據做成一個個產品。數據本身并沒有價值,有價值的是如何利用。大多數情況下原始數據沒法用,需要計算部門來處理,將其轉化為可用的結構化數據,分析、挖掘、計算,最終產生價值。
還可以認識各種大牛吧。我們公司大牛真的很多,和他們帶了一年多了,計算方面真的學到了不少。下周他們好像回成都校招,有興趣的可以了解下。
自己負責的項目有BUG當然要及時去解決問題,做好自己的事情,盡量減少事故,也算一種責任。
-
工程師
+關注
關注
59文章
1589瀏覽量
69248 -
網絡爬蟲
+關注
關注
1文章
52瀏覽量
8894
發布評論請先 登錄


如何成為一名合格的KaihongOS南向驅動開發工程師
如何成為一名合格的KaihongOS北向應用開發工程師
如何成為一名嵌入式軟件工程師?



如何成為嵌入式開發工程師?
月薪 3 萬的嵌入式工程師都在用,串口屏到底神在哪?

電子工程師的電源設計經驗分享
如何成為一名合格的南向驅動開發工程師
如何成為一名合格的北向應用開發工程師


評論